Apache Airflow für Datenpipelines: Aufbau und Betrieb in der Praxis Kurse

Apache Airflow für Datenpipelines: Aufbau und Betrieb in der Praxis

Ein praxisorientierter Kurs für Teams, die produktionsreife Airflow Pipelines entwerfen, betreiben und skalieren müssen. Der Fokus liegt auf Architektur, DAG Authoring, Integrationen, Monitoring, Sicherheit, Skalierung und Fehlersuche. Teilnehmende erhalten wiederverwendbare Muster für On Prem und Cloud Setups.

Was werden Sie lernen?

Sie strukturieren Airflow für verlässliches Scheduling und Execution, schreiben klare DAGs mit dem TaskFlow API und binden Datenbanken, APIs und Cloud Dienste an. Sie ergänzen Monitoring, Sicherheit und Skalierungsmuster, die Pipelines auch bei wachsender Nutzung stabil halten. Am Ende betreiben Sie produktionsreife Workflows mit einem tragfähigen Operating Model.

Airflow Architektur, Executor Auswahl und Umgebungen passend gestalten
Saubere DAGs mit Operators, Sensors, Hooks und robustem Scheduling erstellen
Datenquellen und Cloud Plattformen integrieren und überwachen
Pipelines absichern, skalieren und mit bewährten Methoden troubleshootieren

Anforderungen:

Sicherheit in Python und SQL
Vertrautheit mit Containern und einer Public Cloud ist hilfreich
Zugriff auf nicht sensible Beispieldaten und Endpunkte

Kursübersicht*:

*Wir wissen, dass jedes Team seine eigenen Bedürfnisse und Anforderungen hat. Deshalb können wir den Schulungsplan je nach Bedarf anpassen.

Modul 1: Kernarchitektur und Ausführungsmodell

Rollen von Scheduler, Webserver und Workern und ihr Zusammenspiel
DAGs, Tasks und Operators als Arbeitseinheiten
Executors und Backends Local, Celery, Kubernetes Auswahlüberlegungen
Metadatenbank und Queues als Rückgrat des Systems

Modul 2: Installation und Konfiguration

Umgebungsvarianten lokal, Container, Managed und Self Hosted Cloud
Konfiguration von Executorn und Queues für Durchsatz und Stabilität
Einrichtung von Metadatenspeichern und Airflow Connections
Packaging von Abhängigkeiten und Provider Management

Modul 3: Arbeiten mit UI und CLI

Web UI für DAG Ansichten, Task Graphen und Logs
Monitoring von Runs, Retries, SLAs und Backfills
CLI für Administration Users, Variables, Pools und Deployments
Rollenbasierter Zugriff auf Views und Aktionen

Modul 4: DAGs erstellen und verwalten

TaskFlow API für gut lesbare Python native Pipelines
Muster mit Operators, Sensors und Hooks für externe Systeme
Abhängigkeiten, Schedules und Kalender inklusive Catchup Regeln
Idempotenz und datengetriebene Schedules

Modul 5: Daten- und Cloud Integrationen

Anbindung von Datenbanken, Dateien, APIs und Message Queues
ETL oder ELT Pipelines mit modularen Tasks aufbauen
AWS, GCP und Azure Provider für Storage, Compute und Serverless
Parametrisierung für Umgebungen und Mandanten

Modul 6: Monitoring und Observability

Task Logs und Echtzeitansichten für Health
Metriken Export Prometheus Scraping und Grafana Dashboards
Alerts und Benachrichtigungen via E Mail, Slack und Webhooks
Run History, Audit Trails und Lineage Signale

‍

Modul 7: Sicherheitsgrundlagen

RBAC Modelle und Least Privilege
Authentifizierung mit SSO, OAuth oder LDAP
Secrets Management HashiCorp Vault und Cloud Secret Stores
Netzwerkkontrollen für Worker, Datenbanken und externe Aufrufe

Modul 8: Airflow skalieren

Parallelism, Concurrency, Pools und Queues ohne Verhungern
CeleryExecutor und KubernetesExecutor Auswahl und Tuning
Deployment auf Kubernetes mit Helm und bewährten Values
Leitplanken für Kosten und Performance

Modul 9: Best Practices für den Produktivbetrieb

Versionskontrolle und CI oder CD für DAGs und Provider
Teststrategien Unit, Integration und End to End Orchestrierung
Zuverlässiges Scheduling mit SLAs und Kalendern
Performante DAG Gestaltung

Modul 10: Troubleshooting und Optimierung

Fehlgeschlagene Tasks und blockierte DAGs aus Logs und Events analysieren
Laufzeiten, Retries und Backoff optimieren
Häufige Stolpersteine vermeiden XCom Aufblähung, zu häufige Sensoren, riesige DAGs
Sichere Backfills und erneute Läufe

Modul 11: Betrieb und Governance