Katalog
/
Künstliche Intelligenz und angewandte KI
/
Arize Phoenix für LLM Tracing, Evaluation und AI Observability

Arize Phoenix für LLM Tracing, Evaluation und AI Observability

Ein praxisnaher zweitägiger technischer Kurs für Teilnehmende, die neu mit Arize Phoenix arbeiten und LLM Anwendungen tracen, evaluieren, analysieren und debuggen möchten. Die Agenda führt von Phoenix Architektur und AI Tracing über RAG- und Agent-Observability bis zu Evaluations, Datasets, Experiments und systematischer Fehleranalyse. Der Kurs konzentriert sich darauf, Observability und Evaluation gemeinsam einzusetzen, um Probleme zu identifizieren, Verbesserungen zu testen und Änderungen an AI Applications auf Basis messbarer Ergebnisse vorzunehmen.

Was werden Sie lernen?

Sie lernen, wie Phoenix Traces aus LLM Applications mit OpenTelemetry und OpenInference erfasst und visualisiert. Sie analysieren Prompts, Retrievals, Model Calls, Tool Use, Latency und Application Behaviour und nutzen anschließend Evaluations und Experiments, um zu messen, ob geplante Änderungen die Qualität verbessern. Zusätzlich lernen Sie praktische Debugging Workflows für RAG Systems und AI Agents.

  • LLM-, RAG- und Agent-Applications mit Phoenix instrumentieren und tracen
  • Traces analysieren, um Quality-, Latency-, Retrieval- und Tool-Calling-Probleme zu identifizieren
  • Automatisierte und Human-Evaluation-Workflows erstellen und einsetzen
  • Datasets und Experiments nutzen, um Application Changes zu vergleichen und Regressions zu untersuchen

Voraussetzungen:

  • Technischer Hintergrund in Software Development, AI Engineering, Data Science oder einem verwandten Bereich
  • Sicherer Umgang mit Python, TypeScript oder Java für Application Instrumentation
  • Vertrautheit mit Datenstrukturen und Analyse-Workflows, beispielsweise mit pandas, ist hilfreich
  • Verständnis von RAG Systems, Retrieval, Vector Databases, LLM Generation und Agent Tool-Calling Workflows

Kursübersicht*:

*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.

Modul 1: Arize Phoenix und AI Observability Grundlagen

  • Die Rolle von Tracing, Evaluation und Experimentation in der Entwicklung von AI Applications verstehen
  • Phoenix Projects, Traces, Spans, Attributes und das Observability Interface navigieren
  • OpenTelemetry, OTLP und OpenInference innerhalb der Phoenix Tracing Architecture verstehen
  • Phoenix lokal betreiben oder Applications mit einer gehosteten oder selbst verwalteten Phoenix Instanz verbinden

Modul 2: LLM Applications instrumentieren

  • Unterstützte Frameworks und Model Clients mit OpenInference instrumentieren
  • Automatic Instrumentation verstehen und geeignete Einsatzbereiche für Manual Spans erkennen
  • Prompts, Model Responses, Retrieval Operations, Tool Calls und Application Metadata erfassen
  • Traces so strukturieren, dass mehrstufige RAG- und Agent-Workflows nachvollziehbar bleiben

Modul 3: Trace Analysis und Application Debugging

  • Einen einzelnen Request über verschachtelte Spans und Application Components hinweg verfolgen
  • Errors, Latency, Token Usage, Model Calls und unerwartete Execution Paths untersuchen
  • Retrieval Results und Model Context beim Debugging von RAG Responses analysieren
  • Agent Decisions, Tool Invocations und mehrstufiges Execution Behaviour untersuchen

Modul 4: RAG- und Agent-Observability-Patterns

  • Retrieval-, Generation-, Tool- und Orchestration-Probleme innerhalb von Traces unterscheiden
  • Metadata und Attributes zum Vergleich von Services, Models, Environments und Application Variants einsetzen
  • Wiederholte Calls, unnötige Agent Steps, schlechtes Retrieval und kostspielige Execution Paths identifizieren
  • Trace Findings in konkrete Hypothesen zur Verbesserung der Application überführen

Modul 5: Evaluation Grundlagen mit Phoenix

  • Unterschiede zwischen Deterministic, Human und LLM-based Evaluations verstehen
  • Evaluation Criteria auswählen, die Application Quality und typische Failure Modes abbilden
  • Evaluators auf Spans, Traces und Application Outputs anwenden
  • Quality Evaluations mit operativen Informationen wie Latency und Cost kombinieren

Modul 6: RAG Systems und AI Agents evaluieren

  • Retrieval Relevance und Response Faithfulness in RAG Applications evaluieren
  • Answer Correctness und weitere task-spezifische Quality Criteria bewerten
  • Agent Tool Selection, Tool Invocation und die Verarbeitung von Tool Responses evaluieren
  • Evaluator Results prüfen und False Positives, False Negatives und unklare Evaluation Criteria identifizieren

Modul 7: Datasets und Experiment Analysis

  • Evaluation Datasets aus Test Cases, Production Traces und geprüften Beispielen erstellen
  • Inputs, Expected Outputs, Metadata und repräsentative Application Scenarios definieren
  • Experiments zum Vergleich von Prompts, Models, Retrieval Approaches oder Application Logic durchführen
  • Experiment Results anhand von Quality Metrics, Latency, Cost und relevanten Data Segments vergleichen

Modul 8: Debugging und kontinuierliche AI Verbesserung

  • Von fehlgeschlagenen Evaluations zu zugrunde liegenden Traces und Application Behaviour zurückgehen
  • Failures segmentieren, um Muster über Queries, Models, Retrievals oder Agent Actions hinweg zu erkennen
  • Experiments einsetzen, um Fixes zu validieren und Regressions vor dem Deployment zu erkennen
  • Einen praktischen Workflow aus Tracing, Annotation, Evaluation, Experimentation, Debugging und Application Improvement aufbauen

Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.

3.072€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Intensive praktische Erfahrung in einer speziellen Umgebung
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.

2.037€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Reduzierte Schulungskosten
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Starttermine

18.-19.03.2027
Zürich
14.-15.04.2027
Köln
04.-05.05.2027
Zürich
01.-02.06.2027
Wien
15.-16.06.2027
Zürich

Kein passender Termin dabei? Sprechen Sie uns gerne auf Ihren Wunschtermin an.

Wir verwenden Cookies, um die Navigation zu verbessern, die Nutzung der Website auszuwerten und unser Marketing zu unterstützen. Sie können alle Cookies akzeptieren, nicht notwendige ablehnen oder einzelne Kategorien auswählen. Zum Cookie-Hinweis