*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.
Modul 1: Databricks Lakehouse Architektur und Plattformgrundlagen
- Die Databricks Data Intelligence Platform und Lakehouse Architektur verstehen
- Workspaces, Notebooks, Catalogs, Compute, SQL Warehouses und Jobs navigieren
- Verstehen, wie Data Engineering, Analytics, Machine Learning und AI Workloads dieselbe Plattform nutzen
- Einen typischen Enterprise Data Flow von Source Systems bis zu kontrollierten Data Products betrachten
Modul 2: Apache Spark Grundlagen in Databricks
- Spark Driver, Executors, Distributed Processing und Lazy Evaluation verstehen
- Mit Spark DataFrames über Python und SQL arbeiten
- Datensätze lesen, filtern, verbinden, aggregieren und schreiben
- Transformations, Actions, Partitions und typische Performance Aspekte verstehen
Modul 3: Produktives Arbeiten mit Notebooks und Spark SQL
- Python, SQL und Spark Operationen innerhalb von Databricks Notebooks kombinieren
- Wiederverwendbare Transformationen erstellen und Notebook Code strukturieren
- Mit Temporary Views und SQL Queries auf Spark Daten arbeiten
- Verstehen, wann Spark DataFrames, Spark SQL oder Databricks SQL eingesetzt werden sollten
Modul 4: Delta Lake Grundlagen
- Delta Lake Tabellen, Transaction Log und ACID Transactions verstehen
- Delta Tabellen erstellen, lesen, aktualisieren und löschen
- Mit Schema Enforcement, Schema Evolution und Table History arbeiten
- Verstehen, wie Delta Lake Batch- und Streaming-Workloads unterstützt
Modul 5: Data Ingestion Patterns
- Ingestion aus Cloud Storage, Datenbanken, Anwendungen und Streaming Sources vergleichen
- Dateien mit Spark, SQL und Databricks Ingestion Funktionen laden
- Auto Loader für skalierbare inkrementelle File Ingestion kennenlernen
- Ingestion Patterns anhand von Datenvolumen, Latenz, Source Type und operativen Anforderungen auswählen
Modul 6: Inkrementelle Verarbeitung mit Delta Lake
- MERGE Operationen für Inserts, Updates und Upserts einsetzen
- Change Data Feed zur Verarbeitung von Änderungen auf Zeilenebene nutzen
- Veränderte Schemas und inkrementelle Quelldaten verarbeiten
- Idempotente Verarbeitung gestalten, damit Pipelines sicher erneut ausgeführt werden können
Modul 7: Transformation und Medallion Architecture
- Bronze-, Silver- und Gold-Layer für progressive Datenaufbereitung strukturieren
- Eingelesene Daten bereinigen, validieren, verbinden und anreichern
- Raw Ingestion von wiederverwendbaren Business Transformations trennen
- Kuratierte Datensätze für Analytics, Reporting und nachgelagerte AI Workloads gestalten
Modul 8: Data Quality und Delta Table Optimization
- Data Quality Checks während der Transformation anwenden
- Duplikate, fehlende Werte, ungültige Records und Late Arriving Data verwalten
- File Size, Data Layout und Query Performance berücksichtigen
- Optimierungstechniken wie Liquid Clustering für geeignete Workloads kennenlernen
Modul 9: Lakeflow Pipelines entwickeln
- Pipelines, Flows, Streaming Tables und Materialized Views verstehen
- Deklarative Transformationen mit SQL und Python erstellen
- Abhängigkeiten zwischen Ingestion- und Transformation-Stufen aufbauen
- Inkrementelle Verarbeitung für effiziente Batch- und Streaming-Pipelines einsetzen
Modul 10: Production Pipeline Patterns mit Lakeflow
- Wartbare Pipelines mit klaren Source-, Transformation- und Output-Grenzen gestalten
- Expectations und Data Quality Controls in Pipeline Processing integrieren
- Pipeline Configuration und Environment-spezifische Einstellungen verwalten
- Pipeline Execution überwachen und typische Fehler analysieren
Modul 11: Orchestrierung mit Lakeflow Jobs
- Jobs erstellen, die Notebooks, Pipelines, SQL und weitere Tasks koordinieren
- Task Dependencies und mehrstufige Workflows definieren
- Schedules, Parameters, Retries und Failure Handling konfigurieren
- Zwischen Pipeline-gesteuerten Abhängigkeiten und expliziter Job Orchestration unterscheiden
Modul 12: Governance mit Unity Catalog
- Catalogs, Schemas, Tables, Views, Volumes und den Three-Level Namespace verstehen
- Permissions und kontrollierten Zugriff auf Data und AI Assets konfigurieren
- Lineage, Discovery und Auditing nutzen, um die Verwendung von Assets nachzuvollziehen
- Catalogs und Schemas anhand von Environments, Domains und Access Boundaries strukturieren
Modul 13: Databricks SQL und Analytics Workloads
- SQL Warehouses zur Abfrage kontrollierter Lakehouse Daten einsetzen
- Wiederverwendbare Views und kuratierte Datensätze für Analytics erstellen
- Performance Aspekte für interaktive SQL Workloads verstehen
- Kontrollierte Datensätze für BI und Reporting Tools bereitstellen
Modul 14: Daten für Machine Learning und AI vorbereiten
- Zuverlässige Feature- und Training-Datensätze aus kontrollierten Lakehouse Daten erstellen
- Data Engineering Outputs mit Databricks Machine Learning und AI Workloads verbinden
- Governance von Modellen, Functions und weiteren AI Assets über Unity Catalog verstehen
- Pipelines so gestalten, dass Analytics und AI Teams vertrauenswürdige Data Products wiederverwenden können
Modul 15: Production-ready Databricks Workloads entwickeln
- Explorative Notebooks in strukturierte Production Code und Pipeline Strukturen überführen
- Development-, Test- und Production-Environments voneinander trennen
- Configuration, Parameters, Dependencies und wiederverwendbare Komponenten verwalten
- Git-basierte Development- und Deployment-Praktiken für Databricks Projekte anwenden
Modul 16: Monitoring, Troubleshooting und Production Readiness
- Jobs, Pipelines, Compute und Data Quality überwachen
- Fehler, Performance Bottlenecks und ineffiziente Spark Verarbeitung analysieren
- Retry-, Recovery- und Operational-Support-Ansätze gestalten
- Eine praktische Production Readiness Checkliste für Reliability, Security, Governance, Performance und Maintainability aufbauen