Katalog
/
Data Engineering
/
Apache Flink für Stateful Stream Processing und Real-Time Data Pipelines

Apache Flink für Stateful Stream Processing und Real-Time Data Pipelines

Ein praxisnaher viertägiger technischer Kurs für Teilnehmende, die neu mit Apache Flink arbeiten und zustandsbehaftete Real-Time-Datenverarbeitung und Pipelines entwickeln möchten. Die Agenda führt von Flink Architektur und Stream Processing Grundlagen über Event Time, Windows und State bis zu Connectors, Checkpointing, Fault Tolerance, Deployment und Production Operations. Der Kurs konzentriert sich auf praktische Patterns für zuverlässige und skalierbare Streaming Anwendungen, ohne jede verfügbare API oder jeden Connector im Detail abzudecken.

Was werden Sie lernen?

Sie lernen, wie Apache Flink begrenzte und unbegrenzte Datenströme verarbeitet und wie die Runtime parallele, zustandsbehaftete Berechnungen koordiniert. Sie arbeiten mit Event Time, Watermarks, Windows, Keyed State, Checkpoints, Connectors und Deployment Konzepten und nutzen dabei die für Ihre Umgebung relevante Flink Schnittstelle. Zusätzlich lernen Sie, fehlertolerante Pipelines zu gestalten, Application State zu verwalten, laufende Jobs zu überwachen und Flink Workloads für Production Environments vorzubereiten.

  • Real-Time-Datenpipelines mit Flink SQL, Table API, DataStream API oder PyFlink entwickeln
  • Event Time, Watermarks, Windows und Stateful Processing auf Streaming Workloads anwenden
  • Checkpointing und Recovery für fehlertolerante Anwendungen konfigurieren
  • Flink Anwendungen in Production Environments bereitstellen, überwachen, analysieren und betreiben

Voraussetzungen:

  • Technischer Hintergrund in Software Development, Data Engineering, Analytics oder einem verwandten Bereich
  • Sicherer Umgang mit mindestens einer primären Flink Schnittstelle: SQL / Table API, Java oder Scala/Kotlin oder Python mit PyFlink
  • Allgemeines Verständnis von Distributed Systems und Data Processing Konzepten
  • Vertrautheit mit Streaming Plattformen wie Kafka ist hilfreich, aber nicht erforderlich

Kursübersicht*:

*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.

Modul 1: Apache Flink Architektur und Stream Processing Grundlagen

  • Flink als Distributed Engine für begrenzte und unbegrenzte Data Streams verstehen
  • JobManager, TaskManagers, Tasks, Subtasks, Slots und Parallel Execution einordnen
  • Sources, Transformations, Sinks und Operator Chains verstehen
  • Einen Flink Job von Submission über Execution bis zum Data Movement nachvollziehen

Modul 2: Mit Flink APIs arbeiten

  • Flink SQL, Table API, DataStream API und PyFlink Ansätze vergleichen
  • Grundlegende Streaming Transformations mit der gewählten Schnittstelle erstellen
  • Mit Filtering, Mapping, Projection, Aggregation und Joins arbeiten
  • Geeignete Abstraktionsebenen für unterschiedliche Application Requirements auswählen

Modul 3: Sources, Sinks und Connectors

  • Flink mit Kafka, Files, Databases und weiteren unterstützten Systemen verbinden
  • Source Partitions und parallelen Datenkonsum verstehen
  • Sinks für Streaming und analytische Outputs konfigurieren
  • Delivery Guarantees und Verhalten externer Systeme bei der Auswahl von Connectors berücksichtigen

Modul 4: Parallelism und Data Partitioning

  • Operator Parallelism und Task Distribution verstehen
  • Key-based Partitioning für Stateful Processing einsetzen
  • Erkennen, wie Upstream Partitions die Downstream Workload Distribution beeinflussen
  • Skew und weitere typische Ursachen ungleichmäßiger Verarbeitung identifizieren

Modul 5: Event Time und Watermarks

  • Event Time und Processing Time voneinander unterscheiden
  • Timestamps aus eingehenden Events zuweisen
  • Watermarks und Fortschritt innerhalb von Event-Time-Streams verstehen
  • Out-of-Order- und Delayed Events in Real-Time-Pipelines verarbeiten

Modul 6: Windowed Stream Processing

  • Tumbling-, Sliding-, Session- und Global-Windows verstehen
  • Event-Time-Windows auf Keyed Streams anwenden
  • Window Triggers, Allowed Lateness und Late Event Handling einsetzen
  • Window Strategien anhand analytischer und operativer Anforderungen auswählen

Modul 7: Keyed State und Stateful Processing

  • Keyed State und Operator State verstehen
  • Mit Value-, List-, Map- und Reducing-State-Patterns arbeiten
  • State für Counters, Sessions, Enrichment und Event Correlation einsetzen
  • State Lifetime mit TTL und geeigneten Cleanup Strategien verwalten

Modul 8: Stateful Processing Patterns

  • Keyed Streams mit Timers und Event-Time-Logik kombinieren
  • Stateful Joins und Correlation Workflows entwickeln
  • Deduplication und sequence-dependent Processing verwalten
  • State so gestalten, dass Size, Latency und Recovery Requirements kontrollierbar bleiben

Modul 9: Checkpointing Grundlagen

  • Consistent Snapshots und Distributed Checkpoints verstehen
  • Checkpoint Intervals, Timeouts und Storage konfigurieren
  • Verstehen, wie Source Positions und Operator State gemeinsam erfasst werden
  • Checkpoints und Savepoints voneinander unterscheiden

Modul 10: Fault Tolerance und Recovery

  • Restart Strategies und Failure Recovery verstehen
  • Application State nach Task- oder Infrastructure-Failures wiederherstellen
  • Exactly-once- und At-least-once-Processing-Garantien einordnen
  • Verstehen, wie Source- und Sink-Funktionen End-to-End-Garantien beeinflussen

Modul 11: Savepoints und Application Evolution

  • Savepoints erstellen und Applications daraus wiederherstellen
  • Savepoints für geplante Upgrades und Deployment Changes einsetzen
  • Operator Identity und State Mapping verstehen
  • State-kompatible Application Changes planen

Modul 12: Zuverlässige Streaming Pipeline Designs

  • Sources, Transformations, State und Sinks zu wartbaren Pipelines kombinieren
  • Idempotent und recoverable Processing bei Einbindung externer Systeme gestalten
  • Backpressure verwalten und unkontrolliertes Buffering vermeiden
  • Checkpoint-, State- und Recovery-Einstellungen anhand der Workload Characteristics auswählen

Modul 13: Flink Deployment Architekturen

  • Session-, Application- und Deployment-Modelle verstehen
  • Flink in Standalone-, Container- und Kubernetes-Umgebungen betreiben
  • Native Kubernetes Deployment Konzepte verstehen
  • Den Flink Kubernetes Operator für deklaratives Application Management kennenlernen

Modul 14: Flink Jobs überwachen und analysieren

  • Die Flink Web UI zur Analyse von Jobs, Operators, Checkpoints und Task Metrics einsetzen
  • Failed Checkpoints, Backpressure, Skew und Slow Operators identifizieren
  • Logs und Metrics beim Application Troubleshooting auswerten
  • Den Data Flow durch den Execution Graph verfolgen, um Bottlenecks zu lokalisieren

Modul 15: Performance und Resource Optimisation

  • Parallelism und Task Resources anhand von Workload Requirements konfigurieren
  • Network Buffers, Memory, State Backends und Checkpoint Overhead verstehen
  • Unnötige Serialization, Shuffles und aufwendige State Operations reduzieren
  • Applications anhand gemessener Throughput-, Latency- und Backpressure-Werte optimieren

Modul 16: Production Operations und Einsatzbereitschaft

  • Configuration, Application Versions, Secrets und environment-spezifische Settings verwalten
  • Upgrades, Savepoints, Restart Behaviour und Recovery Procedures planen
  • Monitoring und Alerting für Jobs, Checkpoints, Lag und Resource Usage etablieren
  • Eine praktische Production Readiness Checkliste für State, Fault Tolerance, Deployment, Monitoring, Scaling und Recovery aufbauen

Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.

5.622€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
28
Stunden (Tage:
4
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Intensive praktische Erfahrung in einer speziellen Umgebung
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.

3.987€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
28
Stunden (Tage:
4
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Reduzierte Schulungskosten
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Starttermine

11.-14.01.2027
München
22.-25.03.2027
Zürich
03.-06.05.2027
Hamburg
28.06.-01.07.2027
Köln
05.-08.07.2027
Frankfurt
12.-15.07.2027
Stuttgart

Kein passender Termin dabei? Sprechen Sie uns gerne auf Ihren Wunschtermin an.

Wir verwenden Cookies, um die Navigation zu verbessern, die Nutzung der Website auszuwerten und unser Marketing zu unterstützen. Sie können alle Cookies akzeptieren, nicht notwendige ablehnen oder einzelne Kategorien auswählen. Zum Cookie-Hinweis