Ausrichtung des Projekts
Die Forschung sollte reproduzierbar sein. Die gleiche Analyse der gleichen Daten sollte das gleiche Ergebnis liefern. Das klingt zunächst selbstverständlich, aber viele Untersuchungen zeigen, dass ein großer Teil der wissenschaftlichen Literatur in verschiedenen Disziplinen nicht reproduzierbar ist. Forschungsdaten und Analysecodes werden oft nicht ohne weiteres weitergegeben, so dass es für andere Forscher praktisch keine Möglichkeit gibt, veröffentlichte wissenschaftliche Ergebnisse unabhängig zu überprüfen. In einigen Fällen sind nicht einmal die Wissenschaftler, die die Forschung durchgeführt haben, in der Lage, ihre eigenen Ergebnisse zu reproduzieren, und das nicht lange nach der Veröffentlichung der Arbeit. Die Investition der Öffentlichkeit in eine bestimmte Forschungsstudie beschränkt sich häufig auf einen - häufig kostenpflichtigen - Artikel im PDF-Format auf der Website eines gewinnorientierten Verlags.
Die reproduzierbare Durchführung von Forschungsarbeiten wird durch mindestens zwei Faktoren erschwert: Erstens sind die Anreize in der akademischen Forschung nicht förderlich, da die Quantität der Veröffentlichungen und der Impact-Faktor der Zeitschriften, in denen sie veröffentlicht werden, bei Einstellungen und Beförderungen häufig immer noch stärker berücksichtigt werden als die Qualität, Robustheit und Reproduzierbarkeit der Arbeit. Zweitens ist es tatsächlich schwierig, Forschung reproduzierbar zu machen, und angehende Forscher erhalten oft keine gezielte und umfassende Ausbildung in den einschlägigen Praktiken und Instrumenten.
Dieselben Ergebnisse auf einem anderen Computer zu reproduzieren, ist oft kein triviales Problem. So müssen beispielsweise nicht nur der gesamte Code und alle Daten in einem zugänglichen Format verfügbar sein, sondern es muss auch die gleiche Software (oder Rechenumgebung) nachgebildet werden können. Generell stellt die reproduzierbare und transparente Verwaltung von Forschungsergebnissen über den gesamten Lebenszyklus hinweg - von der ersten Idee bis zur Veröffentlichung und darüber hinaus - eine große Herausforderung dar. Glücklicherweise können Wissenschaftler:innen von Praktiken und Werkzeugen aus anderen Disziplinen lernen, insbesondere aus der Softwaretechnik, die die gemeinsame Arbeit an digitalen Objekten wie Code und Daten erheblich professionalisiert haben. Dazu gehören unter anderem die Nachverfolgung von Änderungen an digitalen Objekten mithilfe von Versionskontrollsystemen wie Git, bewährte Verfahren für die Code- und Datenverwaltung sowie die Schaffung stabiler und transportabler Berechnungsumgebungen mithilfe von Softwarecontainern wie Docker.
Dieser Kurs bot eine Einführung in die Tools und Vorgehensweisen die junge Wissenschaftler:innen dazu befähigt ihre Forschung reproduzierbar zu gestalten.
Rückblick und Ergebnisse
Nach dem erfolgreichen Ansatz unseres vorherigen Kurses über „Versionskontrolle von Code und Daten mit Git“ haben wir uns auf die Entwicklung einer Online-Lernressource mit dem Titel „The Repro Book“ (hier verfügbar) konzentriert, nach dem Vorbild unseres „Version Control Book“. Dieser Online-Leitfaden wurde an die Struktur des Seminars angepasst und diente als Lehrbuch für den Kurs.
Als Hauptergebnis des Lehrprojekts haben die Kursteilnehmenden die Möglichkeit erhalten, reproduzierbares Arbeiten im wissenschaftlichen Kontext kennenzulernen, insbesondere durch die praxisorientierte Anwendung an einem kleinen fiktiven Forschungsprojekt. Durch praktische Übungen und das Kennenlernen von Konzepten wie Metadaten, Community Guidelines, renv, Good Coding Practices und Literate Programming über die Softwares Quarto, R und RStudio haben sie fundierte Kenntnisse darüber erworben, wie ein Forschungsprojekt leicht reproduzierbar aufgebaut werden kann.
Tipps von Lehrenden für Lehrende
Zentrales Element der digitalen Kompetenzentwickung war die größtmögliche transparente, öffentliche und kollaborative Entwicklung von Lehr- und Lernresourcen mit Git und GitHub sowie mit dem Open Science Framework im Kontext der verfügbaren Zeit. Dabei wurden einzelne Lehrinhalte auf die Erstellung der Lehrinhalte angewendet. Dieser Ansatz verfolgt gute wissenschaftliche Prinzipien von Transparenz, Offenheit und Reproduzierbarkeit.
Auch im Bereich didaktischer Fähigkeiten konnte das Lehrprojekt zu der Kompetenzentwicklung der Lehrperson beitragen. Im Rahmen des Lehrprojekts wurden verschiedene didaktische Methoden erprobt: von Partner- und Einzelarbeiten, über Quizzes bis zu Demonstrationen und Übungen. Ein bewusster Fokus war dabei stets, viel Zeit und Raum für Implementierung zu schaffen, bei der die Teilnehmenden anhand konkreter Übungen und Beispiele das Gelernte zur Anwendung bringen konnten.