Ein praxisnaher zweitägiger technischer Kurs für Teilnehmende, die neu mit Arize Phoenix arbeiten und LLM Anwendungen tracen, evaluieren, analysieren und debuggen möchten. Die Agenda führt von Phoenix Architektur und AI Tracing über RAG- und Agent-Observability bis zu Evaluations, Datasets, Experiments und systematischer Fehleranalyse. Der Kurs konzentriert sich darauf, Observability und Evaluation gemeinsam einzusetzen, um Probleme zu identifizieren, Verbesserungen zu testen und Änderungen an AI Applications auf Basis messbarer Ergebnisse vorzunehmen.
Sie lernen, wie Phoenix Traces aus LLM Applications mit OpenTelemetry und OpenInference erfasst und visualisiert. Sie analysieren Prompts, Retrievals, Model Calls, Tool Use, Latency und Application Behaviour und nutzen anschließend Evaluations und Experiments, um zu messen, ob geplante Änderungen die Qualität verbessern. Zusätzlich lernen Sie praktische Debugging Workflows für RAG Systems und AI Agents.
*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.
Modul 1: Arize Phoenix und AI Observability Grundlagen
Modul 2: LLM Applications instrumentieren
Modul 3: Trace Analysis und Application Debugging
Modul 4: RAG- und Agent-Observability-Patterns
Modul 5: Evaluation Grundlagen mit Phoenix
Modul 6: RAG Systems und AI Agents evaluieren
Modul 7: Datasets und Experiment Analysis
Modul 8: Debugging und kontinuierliche AI Verbesserung
Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.
Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.