*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.
Modul 1: Apache Flink Architektur und Stream Processing Grundlagen
- Flink als Distributed Engine für begrenzte und unbegrenzte Data Streams verstehen
- JobManager, TaskManagers, Tasks, Subtasks, Slots und Parallel Execution einordnen
- Sources, Transformations, Sinks und Operator Chains verstehen
- Einen Flink Job von Submission über Execution bis zum Data Movement nachvollziehen
Modul 2: Mit Flink APIs arbeiten
- Flink SQL, Table API, DataStream API und PyFlink Ansätze vergleichen
- Grundlegende Streaming Transformations mit der gewählten Schnittstelle erstellen
- Mit Filtering, Mapping, Projection, Aggregation und Joins arbeiten
- Geeignete Abstraktionsebenen für unterschiedliche Application Requirements auswählen
Modul 3: Sources, Sinks und Connectors
- Flink mit Kafka, Files, Databases und weiteren unterstützten Systemen verbinden
- Source Partitions und parallelen Datenkonsum verstehen
- Sinks für Streaming und analytische Outputs konfigurieren
- Delivery Guarantees und Verhalten externer Systeme bei der Auswahl von Connectors berücksichtigen
Modul 4: Parallelism und Data Partitioning
- Operator Parallelism und Task Distribution verstehen
- Key-based Partitioning für Stateful Processing einsetzen
- Erkennen, wie Upstream Partitions die Downstream Workload Distribution beeinflussen
- Skew und weitere typische Ursachen ungleichmäßiger Verarbeitung identifizieren
Modul 5: Event Time und Watermarks
- Event Time und Processing Time voneinander unterscheiden
- Timestamps aus eingehenden Events zuweisen
- Watermarks und Fortschritt innerhalb von Event-Time-Streams verstehen
- Out-of-Order- und Delayed Events in Real-Time-Pipelines verarbeiten
Modul 6: Windowed Stream Processing
- Tumbling-, Sliding-, Session- und Global-Windows verstehen
- Event-Time-Windows auf Keyed Streams anwenden
- Window Triggers, Allowed Lateness und Late Event Handling einsetzen
- Window Strategien anhand analytischer und operativer Anforderungen auswählen
Modul 7: Keyed State und Stateful Processing
- Keyed State und Operator State verstehen
- Mit Value-, List-, Map- und Reducing-State-Patterns arbeiten
- State für Counters, Sessions, Enrichment und Event Correlation einsetzen
- State Lifetime mit TTL und geeigneten Cleanup Strategien verwalten
Modul 8: Stateful Processing Patterns
- Keyed Streams mit Timers und Event-Time-Logik kombinieren
- Stateful Joins und Correlation Workflows entwickeln
- Deduplication und sequence-dependent Processing verwalten
- State so gestalten, dass Size, Latency und Recovery Requirements kontrollierbar bleiben
Modul 9: Checkpointing Grundlagen
- Consistent Snapshots und Distributed Checkpoints verstehen
- Checkpoint Intervals, Timeouts und Storage konfigurieren
- Verstehen, wie Source Positions und Operator State gemeinsam erfasst werden
- Checkpoints und Savepoints voneinander unterscheiden
Modul 10: Fault Tolerance und Recovery
- Restart Strategies und Failure Recovery verstehen
- Application State nach Task- oder Infrastructure-Failures wiederherstellen
- Exactly-once- und At-least-once-Processing-Garantien einordnen
- Verstehen, wie Source- und Sink-Funktionen End-to-End-Garantien beeinflussen
Modul 11: Savepoints und Application Evolution
- Savepoints erstellen und Applications daraus wiederherstellen
- Savepoints für geplante Upgrades und Deployment Changes einsetzen
- Operator Identity und State Mapping verstehen
- State-kompatible Application Changes planen
Modul 12: Zuverlässige Streaming Pipeline Designs
- Sources, Transformations, State und Sinks zu wartbaren Pipelines kombinieren
- Idempotent und recoverable Processing bei Einbindung externer Systeme gestalten
- Backpressure verwalten und unkontrolliertes Buffering vermeiden
- Checkpoint-, State- und Recovery-Einstellungen anhand der Workload Characteristics auswählen
Modul 13: Flink Deployment Architekturen
- Session-, Application- und Deployment-Modelle verstehen
- Flink in Standalone-, Container- und Kubernetes-Umgebungen betreiben
- Native Kubernetes Deployment Konzepte verstehen
- Den Flink Kubernetes Operator für deklaratives Application Management kennenlernen
Modul 14: Flink Jobs überwachen und analysieren
- Die Flink Web UI zur Analyse von Jobs, Operators, Checkpoints und Task Metrics einsetzen
- Failed Checkpoints, Backpressure, Skew und Slow Operators identifizieren
- Logs und Metrics beim Application Troubleshooting auswerten
- Den Data Flow durch den Execution Graph verfolgen, um Bottlenecks zu lokalisieren
Modul 15: Performance und Resource Optimisation
- Parallelism und Task Resources anhand von Workload Requirements konfigurieren
- Network Buffers, Memory, State Backends und Checkpoint Overhead verstehen
- Unnötige Serialization, Shuffles und aufwendige State Operations reduzieren
- Applications anhand gemessener Throughput-, Latency- und Backpressure-Werte optimieren
Modul 16: Production Operations und Einsatzbereitschaft
- Configuration, Application Versions, Secrets und environment-spezifische Settings verwalten
- Upgrades, Savepoints, Restart Behaviour und Recovery Procedures planen
- Monitoring und Alerting für Jobs, Checkpoints, Lag und Resource Usage etablieren
- Eine praktische Production Readiness Checkliste für State, Fault Tolerance, Deployment, Monitoring, Scaling und Recovery aufbauen