Katalog
/
Künstliche Intelligenz und angewandte KI
/
vLLM für Production-Grade LLM Serving und Inference Optimization

vLLM für Production-Grade LLM Serving und Inference Optimization

Ein praxisnaher zweitägiger technischer Kurs für Teilnehmende, die neu mit vLLM arbeiten und Large Language Models effizient in produktionsorientierten Umgebungen bereitstellen möchten. Die Agenda führt von Model Serving und Runtime Architektur über Inference Optimization, Continuous Batching und Konfiguration bis zu Distributed Serving und Skalierung. Der Kurs konzentriert sich auf die praktischen Entscheidungen, die für hohen Throughput, vorhersehbare Latenz und zuverlässigen Betrieb bei gleichzeitig guter Kompatibilität mit modernen AI Application Stacks erforderlich sind.

Was werden Sie lernen?

Sie lernen, wie Open-Weight Language Models mit vLLM bereitgestellt, die Inference Engine konfiguriert und Modelle über OpenAI-kompatible APIs verfügbar gemacht werden. Sie verstehen, wie PagedAttention, Continuous Batching, Prefix Caching, Quantization und parallele Ausführung die Effizienz der Inference verbessern. Zusätzlich lernen Sie, vLLM Services für anspruchsvolle Production Workloads zu konfigurieren, zu benchmarken, zu skalieren und zu überwachen.

  • Language Models mit vLLM und dem OpenAI-kompatiblen Serving Interface bereitstellen
  • Batching, Memory Management, Caching, Quantization und Inference Parameters konfigurieren
  • Model Serving über mehrere GPUs und Serving Instances skalieren
  • Throughput, Latenz, Reliability und Resource Utilization überwachen und optimieren

Voraussetzungen:

  • Technischer Hintergrund in Software Development, Infrastructure, DevOps, Machine Learning oder einem verwandten Bereich
  • Grundlegende Vertrautheit mit Python, Command-Line-Tools und HTTP APIs
  • Allgemeines Verständnis von Large Language Models und GPU-basierter Inference
  • Keine vorherige vLLM Erfahrung erforderlich

Kursübersicht*:

*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.

Modul 1: vLLM Architektur und Model Serving Grundlagen

  • vLLM als High-Throughput Inference und Serving Engine verstehen
  • vLLM installieren und kompatible Modelle aus verbreiteten Model Repositories auswählen
  • Modelle für Offline Inference und Online Serving starten
  • Model Loading, Tokenization, Generation und Request Processing verstehen

Modul 2: OpenAI-kompatibles Model Serving

  • Den vLLM HTTP Server starten und konfigurieren
  • Mit Chat Completions, Completions, Embeddings und unterstützten API Interfaces arbeiten
  • Bestehende Anwendungen und OpenAI-kompatible Clients mit vLLM verbinden
  • Models, Chat Templates, Generation Parameters und API Access konfigurieren

Modul 3: PagedAttention, Batching und Memory Efficiency

  • KV Cache Memory verstehen und erkennen, warum es zu einem Bottleneck beim Serving werden kann
  • Verstehen, wie PagedAttention die Nutzung des KV Cache verbessert
  • Continuous Batching zur effizienten Verarbeitung paralleler Requests einsetzen
  • Prefix Caching und Chunked Prefill für wiederkehrende und Long-Context-Workloads verstehen

Modul 4: Inference Configuration und Optimization

  • Sequence Length, GPU Memory Utilization, Batch Behavior und Concurrency konfigurieren
  • Quantization Optionen und ihre Auswirkungen auf Memory, Qualität und Throughput verstehen
  • Model Size und Konfiguration auf verfügbare GPU Ressourcen abstimmen
  • Throughput, Time to First Token, Inter-Token Latency und Memory Consumption ausbalancieren

Modul 5: Multi-GPU Serving und Parallelism

  • Verstehen, wann ein Modell mehrere GPUs benötigt oder davon profitiert
  • Tensor Parallelism konfigurieren, um Model Computation auf mehrere GPUs zu verteilen
  • Pipeline und weitere parallele Execution Strategien für größere Deployments kennenlernen
  • Parallelism anhand von Model Size, Hardware Topology und Workload Characteristics auswählen

Modul 6: Concurrent Inference Workloads skalieren

  • Data Parallel Deployment einsetzen, um Serving Capacity über mehrere Model Replicas zu erhöhen
  • Request Distribution und Batching über mehrere Serving Instances verstehen
  • Model Scaling von Application und API Scaling unterscheiden
  • Skalierbare Serving Architectures für variable und hohe Concurrency gestalten

Modul 7: Benchmarking, Monitoring und Performance Tuning

  • Throughput, Latenz, Token Generation Rates und Concurrency Behavior messen
  • Konfigurationen unter repräsentativen Request Patterns vergleichen
  • GPU Memory Pressure, Queueing, lange Prompts und ineffizientes Batch Behavior erkennen
  • Metrics und Profiling Informationen zur gezielten Optimierung der Konfiguration einsetzen

Modul 8: Production Deployment und operative Einsatzbereitschaft

  • vLLM hinter Application Gateways, Reverse Proxies oder Container Plattformen bereitstellen
  • Authentication Boundaries, Network Exposure und Service Security verstehen
  • Health Checks, Failure Recovery, Model Updates und Capacity Management planen
  • Eine praktische Production Readiness Checkliste für Performance, Scaling, Security, Observability und Wartung aufbauen

Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.

4.122€*
Graph Icon - Education X Webflow Template
Niveau:
advanced
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Intensive praktische Erfahrung in einer speziellen Umgebung
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.

3.097€*
Graph Icon - Education X Webflow Template
Niveau:
advanced
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Reduzierte Schulungskosten
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Starttermine

19.-20.01.2027
Frankfurt
24.-25.03.2027
Zürich
14.-15.04.2027
Köln
22.-23.04.2027
Stuttgart
25.-26.05.2027
Düsseldorf

Kein passender Termin dabei? Sprechen Sie uns gerne auf Ihren Wunschtermin an.

Wir verwenden Cookies, um die Navigation zu verbessern, die Nutzung der Website auszuwerten und unser Marketing zu unterstützen. Sie können alle Cookies akzeptieren, nicht notwendige ablehnen oder einzelne Kategorien auswählen. Zum Cookie-Hinweis