Ausrichtung des D3 Innovation Lab
Sprachmodelle in Bezug zu generativer KI sind heutzutage ein zentraler Bestandteil der digitalen Landschaft und werden in vielen Bereichen der natürlichen Sprachverarbeitung eingesetzt, wie bei der Textgenerierung, -überarbeitung oder Übersetzung. General Purpose Modelle wie GPT (Generative Pre-trained Transformer) und BERT (Bidirectional Encoder Representations from Transformers) sind besonders vielseitig und können ohne Anpassungen für eine Vielzahl von Aufgaben verwendet werden. Allerdings bieten sie nicht immer die optimale Leistung für spezifische Anwendungsfälle. Durch Anpassungsmethoden wie Fine-Tuning, Prompt Engineering oder die Anbindung von neuen Wissensquellen können diese Modelle gezielt für bestimmte Anforderungen optimiert werden, um ihre Leistungsfähigkeit für bestimmte Anwendungsfälle zu steigern.
Solche angepassten Instanzen ermöglichen es, die Vielseitigkeit von General Purpose Modellen noch effektiver zu nutzen. Durch Feinabstimmung auf spezielle Daten oder Aufgaben können bessere Ergebnisse erzielt und die Modelle an spezifische Bedürfnisse angepasst werden. Dieses Projekt hat das Ziel, einen Leitfaden zu entwickeln, der Nutzer:innen dabei unterstützt, das für ihre individuellen Anforderungen am besten geeignete Sprachmodell auszuwählen und durch Feinabstimmung anzupassen. Auf diese Weise soll das Potenzial generativer KI-Systeme bestmöglich ausgeschöpft werden.
Rückblick und Ergebnisse
Im Rahmen des Projekts konnten mehrere zentrale Ergebnisse erzielt werden, die sowohl inhaltlich als auch methodisch eine nachhaltige Wirkung entfalten. Besonders hervorzuheben ist, dass im Laufe von sechs Workshops 105 Studierende erreicht wurden, die sich intensiv mit der Funktionsweise, den Möglichkeiten und Grenzen generativer Sprachmodelle auseinandersetzten. Dabei wurde nicht nur technisches Wissen vermittelt, sondern auch ein reflektierter Umgang mit Werkzeugen gefördert, die durch generative KI gestützt sind.
Die Studierenden erwarben dabei zahlreiche Kompetenzen: Sie lernten, Unterschiede, zum Beispiel bei der Performanz, zwischen allgemeinen und feinabgestimmten Sprachmodellen zu erkennen und deren Einsatzmöglichkeiten kritisch zu bewerten. Praktische Übungen führten sie an Themen wie Datenaufbereitung, Modelltraining, datengestützte Entscheidungsfindung für Sprachmodelle sowie Fine Tuning Ansätze und Evaluierung von Ergebnissen heran. Darüber hinaus wurden auch wichtige überfachliche Kompetenzen geschult, darunter kritische Reflexion hinsichtlich ethischer Fragestellungen (Bias, Fairness, Datenschutz) sowie die Fähigkeit, Potenziale und Risiken von KI-gestützten Anwendungen in unterschiedlichen Anwendungsfeldern einzuordnen.
Ein weiteres zentrales Ergebnis war die Entwicklung und Pilotierung eines Leitfadens zur Auswahl und Anpassung von Sprachmodellen. Auch wenn dieser aufgrund notwendiger Qualitätssicherung noch nicht öffentlich zugänglich gemacht wurde, konnte er bereits in den Workshops erprobt und iteriert werden. Studierende gaben hierzu wertvolles Feedback: Sie betonten, dass der Leitfaden Orientierung in einer ansonsten unübersichtlichen Modelllandschaft bietet und ihnen half, fundierte Entscheidungen über a) die Wahl für ein Basis-Sprachmodell, b) die Wahl, ob Fine Tuning nötig ist und c) den geeignetsten Fine Tuning Ansatz für einen zugrundeliegenden Anwendungsfall zu treffen.
Tipps von Lehrenden für Lehrende
Es wurden neue didaktische Formate erprobt, insbesondere workshopbasierte Ansätze mit starkem Praxisbezug (Hands-On Lernen). Eine praktische Erfahrung war, wie wichtig es ist, heterogene Gruppen, von Studierenden mit technischem Vorwissen bis hin zu Fachfremden, durch differenzierte Aufgabenstellungen, klare Strukturierung und begleitende Reflexionsphasen gleichermaßen – im Idealfall auf Basis eines gemeinsamen Ausgangspunkts – einzubinden. Dabei konnten die Fähigkeiten in der Moderation interdisziplinärer Diskussionen und im Umgang mit unterschiedlichen Lernvoraussetzungen geschärft werden. So konnten besonders spannende Gespräche mit und unter den Studierenden entstehen, die ihre Perspektiven eingebracht und ausgetauscht haben.
Darüber hinaus hat das Projekt das Bewusstsein für die Bedeutung kontinuierlicher Feedbackschleifen auch in laufenden Workshopserien geschärft: Das direkte Einbinden von Rückmeldungen der Studierenden in die Weiterentwicklung des Konzepts erwies sich als besonders wertvoll.