Katalog
/
Künstliche Intelligenz und angewandte KI
/
Langfuse für Tracing, Evaluation und Monitoring von Production AI Systems

Langfuse für Tracing, Evaluation und Monitoring von Production AI Systems

Ein praxisnaher zweitägiger technischer Kurs für Teilnehmende, die neu mit Langfuse arbeiten und Observability, Evaluation, Prompt Management und Monitoring in produktive AI Anwendungen integrieren möchten. Die Agenda führt von Tracing und Instrumentierung über Prompt Management bis zu Datasets, Evaluations, Experiments, Production Monitoring und operativer Integration. Der Kurs konzentriert sich auf praktische Patterns, mit denen das Verhalten von AI Anwendungen verstanden, Qualität gemessen, Regressionen erkannt und Systeme systematisch verbessert werden können.

Was werden Sie lernen?

Sie lernen, wie Langfuse instrumentiert, Traces und Generations analysiert, Prompts zentral verwaltet und Application Quality mit Datasets, Scores und Experiments bewertet werden. Sie arbeiten mit Online- und Offline-Evaluation und lernen, wie Production Observations in wiederverwendbare Test Cases überführt werden können. Zusätzlich verstehen Sie, wie Qualität, Latenz, Token Nutzung und Kosten überwacht und Langfuse in bestehende AI Engineering Workflows integriert werden kann.

  • AI Anwendungen instrumentieren und LLM Traces, Observations, Sessions und Generations analysieren
  • Prompts verwalten und versionieren sowie Prompt Änderungen mit Production Behavior verbinden
  • Evaluation Datasets erstellen und Modelle, Prompts und Application Changes über Experiments vergleichen
  • Production AI Systems anhand von Quality-, Performance-, Usage- und Cost-Signalen überwachen

Voraussetzungen:

  • Technischer Hintergrund in Software Development, AI Engineering, Data Engineering oder einem verwandten Bereich
  • Grundlegende Programmierkenntnisse, vorzugsweise Python oder JavaScript
  • Allgemeine Vertrautheit mit LLM APIs und modernen AI Application Konzepten
  • Keine vorherige Langfuse Erfahrung erforderlich

Kursübersicht*:

*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.

Modul 1: Langfuse Architektur und AI Observability Grundlagen

  • Die Rolle von Langfuse im AI Application Lifecycle verstehen
  • Projects, Traces, Observations, Generations, Sessions und Users navigieren
  • Verstehen, wie Requests von einer AI Anwendung in Langfuse erfasst werden
  • Application Observability, Evaluation, Monitoring und Prompt Management voneinander unterscheiden

Modul 2: LLM Anwendungen instrumentieren

  • Tracing mit Langfuse SDKs und unterstützten Integrationen hinzufügen
  • Model Calls, Inputs, Outputs, Metadata, Usage, Latenz und Kosten erfassen
  • Verschachtelte Observations für Chains, Retrieval, Tools und Agent Workflows strukturieren
  • Tags, Metadata, Users und Sessions einsetzen, um Traces besser analysieren zu können

Modul 3: Traces und Application Behavior analysieren

  • End-to-End Execution über Model Calls, Retrieval Steps und Tools nachvollziehen
  • Langsame, teure, fehlerhafte oder qualitativ schwache Interaktionen identifizieren
  • Verhalten über Models, Users, Releases und Application Paths hinweg vergleichen
  • Relevante Production Traces für weitere Evaluation und Testing nutzen

Modul 4: Prompt Management und Versionierung

  • Prompts zentral in Langfuse erstellen und verwalten
  • Mit Prompt Versions, Variables, Labels und Deployment Stages arbeiten
  • Prompt Versions mit Traces und Generations verbinden
  • Prompt Behavior vergleichen und kontrollierte Prompt Änderungen für Evaluation vorbereiten

Modul 5: Evaluation Konzepte und Scoring

  • Scores als gemeinsame Darstellung für AI Quality Measurements verstehen
  • Human Feedback, programmatic Checks, User Feedback und LLM-as-a-Judge Evaluation einsetzen
  • Sinnvolle Quality Dimensions wie Correctness, Relevance, Helpfulness und Safety definieren
  • Evaluation Results mit Traces, Observations, Sessions und Experiment Runs verbinden

Modul 6: Datasets und Experiments

  • Evaluation Datasets aus kuratierten Beispielen und Production Traces erstellen
  • Inputs, Expected Outputs, Metadata und wiederverwendbare Test Cases definieren
  • Experiments zum Vergleich von Prompt-, Model-, Retrieval- oder Application-Änderungen ausführen
  • Experiment Results vergleichen und Regressionen vor einem Deployment identifizieren

Modul 7: Production Monitoring und kontinuierliche Evaluation

  • Quality Scores, Latenz, Usage, Token Consumption und Kosten über die Zeit überwachen
  • Online Evaluation auf ausgewählten Production Traffic anwenden
  • Wiederkehrende Failure Patterns und Segmente mit verschlechterter Performance identifizieren
  • Production Findings wieder in Datasets und Offline Evaluation Workflows überführen

Modul 8: Production Integration und operative Einsatzbereitschaft

  • Langfuse mit bestehenden AI Frameworks, Services und Observability Environments integrieren
  • OpenTelemetry Integration und umfassendere Monitoring Architekturen verstehen
  • Langfuse Cloud mit Self-hosted Deployment Optionen vergleichen
  • Einen praktischen Betriebsworkflow für Tracing, Prompt Changes, Evaluation, Release Decisions, Monitoring und kontinuierliche Verbesserung aufbauen

Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.

4.122€*
Graph Icon - Education X Webflow Template
Niveau:
advanced
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Intensive praktische Erfahrung in einer speziellen Umgebung
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.

3.097€*
Graph Icon - Education X Webflow Template
Niveau:
advanced
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Reduzierte Schulungskosten
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Starttermine

12.-13.01.2027
Düsseldorf
21.-22.01.2027
Zürich
28.-29.01.2027
München
17.-18.02.2027
Frankfurt
27.-28.04.2027
München

Kein passender Termin dabei? Sprechen Sie uns gerne auf Ihren Wunschtermin an.

Wir verwenden Cookies, um die Navigation zu verbessern, die Nutzung der Website auszuwerten und unser Marketing zu unterstützen. Sie können alle Cookies akzeptieren, nicht notwendige ablehnen oder einzelne Kategorien auswählen. Zum Cookie-Hinweis