In den letzten Jahren hat Deep Learning enorme Fortschritte in zahlreichen Anwendungsbereichen erzielt – von der Bild- und Spracherkennung bis hin zur medizinischen Diagnostik und autonomen Systemen. Trotz dieser beeindruckenden praktischen Erfolge bleiben viele theoretische Fragen offen: Warum funktionieren tiefe neuronale Netze so gut? Unter welchen Bedingungen lassen sich statistisch fundierte Aussagen ¨uber ihre Leistungsfähigkeit treffen? Und wie beeinflussen architektonische Entscheidungen oder Optimierungsverfahren die Generalisierbarkeit?
Ziel des Seminars:
Dieses Seminar richtet sich an Studierende, die ein fundiertes theoretisches Verständnis für Deep Learning und neuronale Netze entwickeln möchten. Insbesondere werden wir:
-
die Ausdruckskraft neuronaler Netzwerke untersuchen und er¨ortern, warum tiefere
Netzwerkarchitekturen eine bessere Approximation komplexer Funktionen ermöglichen
-
neuronale Netzwerksch¨atzer analysieren und statistische Risikoschranken für unterschiedliche Szenarien herleiten,
-
optimierungsbezogene Aspekte diskutieren, insbesondere den impliziten Bias des Gradientenabstiegs, sowie verschiedene Regularisierungsmethoden kennenlernen,
-
moderne Netzwerkarchitekturen sowie die ihnen zugrundeliegenden (neuen) Vorhersageprobleme analysieren und kritisch diskutieren.
- Kursleiter/in: Sophie Langer