Ein praxisnaher zweitägiger technischer Kurs für Teilnehmende, die neu mit vLLM arbeiten und Large Language Models effizient in produktionsorientierten Umgebungen bereitstellen möchten. Die Agenda führt von Model Serving und Runtime Architektur über Inference Optimization, Continuous Batching und Konfiguration bis zu Distributed Serving und Skalierung. Der Kurs konzentriert sich auf die praktischen Entscheidungen, die für hohen Throughput, vorhersehbare Latenz und zuverlässigen Betrieb bei gleichzeitig guter Kompatibilität mit modernen AI Application Stacks erforderlich sind.
Sie lernen, wie Open-Weight Language Models mit vLLM bereitgestellt, die Inference Engine konfiguriert und Modelle über OpenAI-kompatible APIs verfügbar gemacht werden. Sie verstehen, wie PagedAttention, Continuous Batching, Prefix Caching, Quantization und parallele Ausführung die Effizienz der Inference verbessern. Zusätzlich lernen Sie, vLLM Services für anspruchsvolle Production Workloads zu konfigurieren, zu benchmarken, zu skalieren und zu überwachen.
*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.
Modul 1: vLLM Architektur und Model Serving Grundlagen
Modul 2: OpenAI-kompatibles Model Serving
Modul 3: PagedAttention, Batching und Memory Efficiency
Modul 4: Inference Configuration und Optimization
Modul 5: Multi-GPU Serving und Parallelism
Modul 6: Concurrent Inference Workloads skalieren
Modul 7: Benchmarking, Monitoring und Performance Tuning
Modul 8: Production Deployment und operative Einsatzbereitschaft
Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.
Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.