Katalog
/
Data Engineering
/
Databricks Lakehouse für Enterprise Data Engineering, Analytics und AI

Databricks Lakehouse für Enterprise Data Engineering, Analytics und AI

Ein praxisnaher viertägiger technischer Kurs für Teilnehmende, die neu mit Databricks arbeiten und schnell produktiv Enterprise Data Engineering-, Analytics- und AI-Workloads umsetzen möchten. Die Agenda führt von Databricks Lakehouse Architektur und Apache Spark Grundlagen über Delta Lake, Ingestion und Transformation bis zu Lakeflow Pipelines, Orchestrierung, Unity Catalog, Analytics und Production Deployment. Der Kurs konzentriert sich auf Plattformfunktionen und Architekturpatterns, die für zuverlässige, kontrollierte und wartbare Datenpipelines erforderlich sind.

Was werden Sie lernen?

Sie lernen, wie Databricks für Ingestion, Transformation, Governance, Orchestrierung und Bereitstellung von Enterprise Daten für Analytics und AI eingesetzt wird. Sie arbeiten mit Apache Spark, Delta Lake, Lakeflow, Unity Catalog, SQL und Production Pipeline Konzepten und verstehen, wie die zentralen Databricks Komponenten zusammenspielen. Zusätzlich lernen Sie, wie aus Notebook-basierter Entwicklung zuverlässige, automatisierte, kontrollierte und überwachte Production Workloads entstehen.

  • Datenverarbeitung mit Apache Spark und Delta Lake umsetzen
  • Batch- und inkrementelle Ingestion- und Transformation-Pipelines entwickeln
  • Datenworkloads mit Lakeflow und Unity Catalog orchestrieren und kontrollieren
  • Zuverlässige Production Data Pipelines für Analytics und AI Use Cases aufbauen

Voraussetzungen:

  • Technischer Hintergrund in Software Development, Data Engineering, Analytics, Datenbanken oder einem verwandten Bereich
  • Grundlegende SQL Kenntnisse
  • Grundlegende Programmiererfahrung, vorzugsweise mit Python
  • Keine vorherige Apache Spark oder Databricks Erfahrung erforderlich

Kursübersicht*:

*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.

Modul 1: Databricks Lakehouse Architektur und Plattformgrundlagen

  • Die Databricks Data Intelligence Platform und Lakehouse Architektur verstehen
  • Workspaces, Notebooks, Catalogs, Compute, SQL Warehouses und Jobs navigieren
  • Verstehen, wie Data Engineering, Analytics, Machine Learning und AI Workloads dieselbe Plattform nutzen
  • Einen typischen Enterprise Data Flow von Source Systems bis zu kontrollierten Data Products betrachten

Modul 2: Apache Spark Grundlagen in Databricks

  • Spark Driver, Executors, Distributed Processing und Lazy Evaluation verstehen
  • Mit Spark DataFrames über Python und SQL arbeiten
  • Datensätze lesen, filtern, verbinden, aggregieren und schreiben
  • Transformations, Actions, Partitions und typische Performance Aspekte verstehen

Modul 3: Produktives Arbeiten mit Notebooks und Spark SQL

  • Python, SQL und Spark Operationen innerhalb von Databricks Notebooks kombinieren
  • Wiederverwendbare Transformationen erstellen und Notebook Code strukturieren
  • Mit Temporary Views und SQL Queries auf Spark Daten arbeiten
  • Verstehen, wann Spark DataFrames, Spark SQL oder Databricks SQL eingesetzt werden sollten

Modul 4: Delta Lake Grundlagen

  • Delta Lake Tabellen, Transaction Log und ACID Transactions verstehen
  • Delta Tabellen erstellen, lesen, aktualisieren und löschen
  • Mit Schema Enforcement, Schema Evolution und Table History arbeiten
  • Verstehen, wie Delta Lake Batch- und Streaming-Workloads unterstützt

Modul 5: Data Ingestion Patterns

  • Ingestion aus Cloud Storage, Datenbanken, Anwendungen und Streaming Sources vergleichen
  • Dateien mit Spark, SQL und Databricks Ingestion Funktionen laden
  • Auto Loader für skalierbare inkrementelle File Ingestion kennenlernen
  • Ingestion Patterns anhand von Datenvolumen, Latenz, Source Type und operativen Anforderungen auswählen

Modul 6: Inkrementelle Verarbeitung mit Delta Lake

  • MERGE Operationen für Inserts, Updates und Upserts einsetzen
  • Change Data Feed zur Verarbeitung von Änderungen auf Zeilenebene nutzen
  • Veränderte Schemas und inkrementelle Quelldaten verarbeiten
  • Idempotente Verarbeitung gestalten, damit Pipelines sicher erneut ausgeführt werden können

Modul 7: Transformation und Medallion Architecture

  • Bronze-, Silver- und Gold-Layer für progressive Datenaufbereitung strukturieren
  • Eingelesene Daten bereinigen, validieren, verbinden und anreichern
  • Raw Ingestion von wiederverwendbaren Business Transformations trennen
  • Kuratierte Datensätze für Analytics, Reporting und nachgelagerte AI Workloads gestalten

Modul 8: Data Quality und Delta Table Optimization

  • Data Quality Checks während der Transformation anwenden
  • Duplikate, fehlende Werte, ungültige Records und Late Arriving Data verwalten
  • File Size, Data Layout und Query Performance berücksichtigen
  • Optimierungstechniken wie Liquid Clustering für geeignete Workloads kennenlernen

Modul 9: Lakeflow Pipelines entwickeln

  • Pipelines, Flows, Streaming Tables und Materialized Views verstehen
  • Deklarative Transformationen mit SQL und Python erstellen
  • Abhängigkeiten zwischen Ingestion- und Transformation-Stufen aufbauen
  • Inkrementelle Verarbeitung für effiziente Batch- und Streaming-Pipelines einsetzen

Modul 10: Production Pipeline Patterns mit Lakeflow

  • Wartbare Pipelines mit klaren Source-, Transformation- und Output-Grenzen gestalten
  • Expectations und Data Quality Controls in Pipeline Processing integrieren
  • Pipeline Configuration und Environment-spezifische Einstellungen verwalten
  • Pipeline Execution überwachen und typische Fehler analysieren

Modul 11: Orchestrierung mit Lakeflow Jobs

  • Jobs erstellen, die Notebooks, Pipelines, SQL und weitere Tasks koordinieren
  • Task Dependencies und mehrstufige Workflows definieren
  • Schedules, Parameters, Retries und Failure Handling konfigurieren
  • Zwischen Pipeline-gesteuerten Abhängigkeiten und expliziter Job Orchestration unterscheiden

Modul 12: Governance mit Unity Catalog

  • Catalogs, Schemas, Tables, Views, Volumes und den Three-Level Namespace verstehen
  • Permissions und kontrollierten Zugriff auf Data und AI Assets konfigurieren
  • Lineage, Discovery und Auditing nutzen, um die Verwendung von Assets nachzuvollziehen
  • Catalogs und Schemas anhand von Environments, Domains und Access Boundaries strukturieren

Modul 13: Databricks SQL und Analytics Workloads

  • SQL Warehouses zur Abfrage kontrollierter Lakehouse Daten einsetzen
  • Wiederverwendbare Views und kuratierte Datensätze für Analytics erstellen
  • Performance Aspekte für interaktive SQL Workloads verstehen
  • Kontrollierte Datensätze für BI und Reporting Tools bereitstellen

Modul 14: Daten für Machine Learning und AI vorbereiten

  • Zuverlässige Feature- und Training-Datensätze aus kontrollierten Lakehouse Daten erstellen
  • Data Engineering Outputs mit Databricks Machine Learning und AI Workloads verbinden
  • Governance von Modellen, Functions und weiteren AI Assets über Unity Catalog verstehen
  • Pipelines so gestalten, dass Analytics und AI Teams vertrauenswürdige Data Products wiederverwenden können

Modul 15: Production-ready Databricks Workloads entwickeln

  • Explorative Notebooks in strukturierte Production Code und Pipeline Strukturen überführen
  • Development-, Test- und Production-Environments voneinander trennen
  • Configuration, Parameters, Dependencies und wiederverwendbare Komponenten verwalten
  • Git-basierte Development- und Deployment-Praktiken für Databricks Projekte anwenden

Modul 16: Monitoring, Troubleshooting und Production Readiness

  • Jobs, Pipelines, Compute und Data Quality überwachen
  • Fehler, Performance Bottlenecks und ineffiziente Spark Verarbeitung analysieren
  • Retry-, Recovery- und Operational-Support-Ansätze gestalten
  • Eine praktische Production Readiness Checkliste für Reliability, Security, Governance, Performance und Maintainability aufbauen

Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.

7.722€*
Graph Icon - Education X Webflow Template
Niveau:
advanced
Clock Icon - Education X Webflow Template
Dauer:
28
Stunden (Tage:
4
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Intensive praktische Erfahrung in einer speziellen Umgebung
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.

6.087€*
Graph Icon - Education X Webflow Template
Niveau:
advanced
Clock Icon - Education X Webflow Template
Dauer:
28
Stunden (Tage:
4
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Reduzierte Schulungskosten
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Starttermine

11.-14.01.2027
Frankfurt
18.-21.01.2027
Köln
08.-11.03.2027
Frankfurt
29.03.-01.04.2027
Wien
26.-29.04.2027
Stuttgart

Kein passender Termin dabei? Sprechen Sie uns gerne auf Ihren Wunschtermin an.

Wir verwenden Cookies, um die Navigation zu verbessern, die Nutzung der Website auszuwerten und unser Marketing zu unterstützen. Sie können alle Cookies akzeptieren, nicht notwendige ablehnen oder einzelne Kategorien auswählen. Zum Cookie-Hinweis