Der aktuelle Hype um generative KI-Anwendungen wie ChatGPT, Midjourney oder Sora wird wesentlich angetrieben von Fortschritten in der maschinellen Verarbeitung natürlicher Sprache. Große Sprachmodelle (Large Language Models, LLMs) übersetzen das, was Menschen den Sinn und die Bedeutung eines Textes nennen, in numerische und damit berechenbare Strukturen.
Das Seminar vermittelt ein grundlegendes technisches Verständnis darüber, wie LLMs funktionieren. Das geschieht immer anhand anschaulicher und praxisnaher Beispiele und eigens dafür entwickelter Beispielprogramme. Diese eröffnen experimentelle Zugänge zu Bereichen, die normalerweise hinter Web- und App-Oberflächen verborgen liegen.
Das Seminar richtet sich ausdrücklich auch an Personen, die keinerlei Vorkenntnisse in Sachen Programmierung mitbringen und sich mit mathematischen Konzepten nur ungern befassen.
Themen
Klassische Textgeneratoren: Permutationen und Markow-Ketten
Bestärkendes Lernen: Aufgaben durch Trial-and-Error lösen
Grundlagen künstlicher neuronaler Netze: Korrelation statt Theorie
Autoencoder und GANs: Von der Klassifikation zur Generierung
Wort- und Sequenzeinbettungen: Texte als Koordinaten im Raum anordnen
Aufmerksamkeit: Kontextabhängigkeit aus technischer Sicht
- Kursleiter/in: Pit Noack
Semester: ST 2025