Überwachung und Optimierung moderner KI-Agentensysteme im Produktivbetrieb (m/w/d)

Was du bei uns bewegst Moderne Tracing-Werkzeuge wie MLFlow bieten eine Vielzahl von Metriken, um die Datenflüsse und Verarbeitungsschritte innerhalb eines KI-Agentensystems, das auf Transformern basiert, darzustellen. Je nach Komplexität des Systems fallen zusätzliche Metriken an, die als Ergänzung dienen, um das Systemverhalten insgesamt darzustellen.

Hier setzt deine Abschlussarbeit an: Du unterstützt uns bei der Entwicklung von Best-Practice-Ansätzen, um das Systemverhalten auf Basis effektiver Auswertungen und Systemoptimierungen anhand von Nutzerfeedback zu verbessern. Du analysierst State-of-the-Art-Tracing-Werkzeuge und -Methoden, leitest fundierte Handlungsempfehlungen ab und untermauerst diese mit Best-Practice-Beispielen.

Zur Bewertung von Traces nutzt du Metriken, die automatisch generiert werden (z. B.

heuristische Metriken oder LLM-as-a-Judge) und optional durch Nutzerfeedback ergänzt werden. Ein zentraler Aspekt ist dabei die systematische Verknüpfung dieser verschiedenen Datenquellen und Bewertungsmethoden.

Deine Werkzeuge für den M&M Alltag Du bist eingeschriebene:r Student:in (m/w/d) des Studiengangs Allgemeine Informatik, Technische Informatik, Software-Engineeri