Course information

ZIELE:

Dieses Seminar beschäftigt sich mit der Anwendung von Reinforcement Learning (RL) in modernen robotischen Systemen mit mehreren Agenten, verteilten Architekturen und realen Einsatzbedingungen. Da intelligente Roboter zunehmend in gemeinsam genutzten Umgebungen – beispielsweise in
Lagerhäusern, bei autonomen Fahrzeugen oder in kooperativen Robotersystemen – eingesetzt
werden, gewinnt die Fähigkeit, sicher, effizient und gemeinsam zu lernen, immer mehr an Bedeutung.
Im Seminar werden aktuelle Forschungsthemen wie Multi-Agent Reinforcement Learning (MARL),
föderiertes und dezentrales Reinforcement Learning für datenschutzbewusste Anwendungen,
Kommunikation zwischen Agenten, Verfahren zur Gewährleistung von Sicherheit und Zuverlässigkeit
sowie Methoden zur Verbesserung der Stichprobeneffizienz und des Sim-to-Real-Transfers behandelt.
Die Studierenden analysieren, präsentieren und diskutieren aktuelle wissenschaftliche
Veröffentlichungen, die sich mit den Herausforderungen intelligenter, vernetzter Robotersysteme in
komplexen und ressourcenbeschränkten Umgebungen befassen.
Nach erfolgreichem Abschluss des Seminars sind die Studierenden in der Lage,

• die Grundlagen des Multi-Agent Reinforcement Learning (MARL) zu verstehen und dessen
  Einsatzmöglichkeiten in der Robotik zu erläutern,
• die Vor- und Nachteile verteilter und föderierter Lernverfahren für robotische Systeme,
  insbesondere im Hinblick auf Datenschutz, Kommunikation und Systemarchitektur, zu
  analysieren,
• Verfahren für sicheres und vertrauenswürdiges Lernen, einschließlich Nebenbedingungen,
  Robustheit und Zuverlässigkeit in der robotischen Steuerung, kritisch zu bewerten,
• aktuelle Ansätze zur effizienten Trainingsgestaltung für Robotersysteme, wie
  Stichprobeneffizienz, Sim-to-Real-Transfer und Domain Randomization, zu diskutieren,
• aktuelle wissenschaftliche Publikationen an der Schnittstelle von Machine Learning, IT-Systemen und Robotik zu präsentieren, zu erläutern und kritisch zu reflektieren sowie
• eine fundierte Grundlage für die Anwendung von Reinforcement Learning in realen
  Robotiksystemen oder für eine weiterführende wissenschaftliche Beschäftigung mit diesem
  Themengebiet zu erwerben.

IN­HALT:

In der Auftaktveranstaltung (bzw. den Auftaktveranstaltungen) wird jeder bzw. jedem Studierenden eine
wissenschaftliche Veröffentlichung aus einem der Themenbereiche zugeteilt. Anschließend bearbeiten
die Studierenden ihre jeweilige Publikation selbstständig. Während dieser Phase finden mehrere Frage-und-Antwort-Sitzungen statt, in denen offene Fragen geklärt und die Studierenden bei der Bearbeitung
unterstützt werden.
In der zweiten Semesterhälfte hält jede bzw. jeder Studierende einen Kurzvortrag über die zugewiesene
wissenschaftliche Veröffentlichung. Darüber hinaus gestalten die Studierenden jedes Themenbereichs
gemeinsam eine Postersession, in der sie ihre Arbeiten anhand wissenschaftlicher Poster präsentieren
und diskutieren.
Thema 1: Sicherheit im Multi-Agent Reinforcement Learning (MARL)
Schwerpunkt: Verfahren zur Gewährleistung sicherer Lern- und Entscheidungsprozesse sowie zur
Vermeidung unsicherer Zustände während des Lernens und im praktischen Einsatz.
Thema 2: Datenschutz und Privatsphäre in Multi-Agenten-Lernverfahren
Schwerpunkt: Schutz sensibler Daten und Strategien von Agenten in kooperativen und kompetitiven
Multi-Agenten-Systemen.
Thema 3: Stichprobeneffizientes und verteiltes Lernen
Schwerpunkt: Methoden zur Verbesserung der Dateneffizienz sowie verteilte Lernverfahren für
robotische Multi-Agenten-Systeme.
Thema 4: Koordination, Generalisierung und verteilte Architekturen
Schwerpunkt: Zusammenarbeit mehrerer Agenten, Generalisierungsfähigkeit sowie Lernen und
Entscheiden unter unvollständiger Information in robotischen Teams.

PRÜ­FUNG:

Erfolgreiche Präsentation und Postererstellung

GOALS:

This seminar explores how reinforcement learning (RL) is applied to modern robotic systems involving
multiple agents, distributed architectures, and real-world constraints. As intelligent robots increasingly
operate in shared environments — from warehouses to autonomous vehicles — the ability to learn
collaboratively, safely, and efficiently becomes essential. The seminar will cover multi-agent
reinforcement learning (MARL), federated and decentralized RL for privacy-aware applications,
communication among agents, safety and reliability guarantees, and methods for improving sample
efficiency and sim-to-real transfer. Students will study and present current research papers that address
the challenges of deploying intelligent, connected robotic agents in complex and resource-constrained
environments.
By the end of the course, students will be able to:

• Understand the fundamentals of multi-agent reinforcement learning (MARL) and how it applies to
  robotics.
• Analyze the trade-offs in distributed and federated learning for robotic systems, especially regarding privacy, communication, and system architecture.
• Critically evaluate techniques for safe learning, including constraints, trustworthiness, and
  robustness in robotic control.
• Discuss current approaches to efficient training of robots, such as sample efficiency, sim-to-real
  transfer, and domain randomization.
• Present, explain, and critically reflect on state-of-the-art research papers in this emerging
  intersection of ML, IT systems, and robotics.
• Gain a foundation for applying RL in real-world robotic scenarios or for continuing research in the
  area.

CON­TENT:

In the kick-off session(s), each student is assigned a paper in one theme. The students then study their
papers while accompanied by a few question-and-answer sessions. In the second half of semester,
each student provides a short presentation of the assigned papers. Besides, the students of each theme
participate in a poster session with a poster describing the assigned paper.
Theme 1: Safety in Multi-Agent Reinforcement Learning (MARL)
Focus: ensuring agents avoid unsafe states during learning or deployment.
Theme 2: Privacy-Preserving Learning
Focus: protecting agent data and strategies when collaborating or competing.
Theme 3: Sample-Efficient & Distributed Learning
Focus: improving data efficiency and distribution in multi-agent robotic learning.
Thema 4: Coordination, Generalization & Distributed Architectures
Focus: how agents coordinate, generalize, and operate under partial information in robotic teams.

EXAM:

Successfull Presentation and Poster

EMP­FOH­LE­NE VOR­KENNT­NIS­SE:

Introduction to Machine Learning, Data Science