Katalog
/
Data Engineering
/
Apache Iceberg für Open Lakehouse Architecture und große Datenplattformen

Apache Iceberg für Open Lakehouse Architecture und große Datenplattformen

Ein praxisnaher dreitägiger technischer Kurs für Teilnehmende, die neu mit Apache Iceberg arbeiten und zuverlässige Lakehouse-Architekturen auf offenem Object Storage aufbauen möchten. Die Agenda führt von Iceberg Table Architecture, Catalogs, Schemas und Partitioning über Batch- und Streaming-Ingestion sowie Table Evolution bis zu Snapshots, Maintenance und Production Design. Der Kurs nutzt Spark oder Flink als primäre Compute Engine und konzentriert sich auf den Aufbau eines vollständigen und wartbaren Lakehouse-Workflows, ohne jede unterstützte Engine im Detail abzudecken.

Was werden Sie lernen?

Sie lernen, wie Apache Iceberg zuverlässiges Table Management für große Datenbestände in Formaten wie Parquet auf Cloud oder Distributed Object Storage ermöglicht. Sie erstellen und verwalten Iceberg Tables, konfigurieren Catalogs, implementieren Batch- und Streaming-Ingestion, entwickeln Schemas und Partitioning weiter, arbeiten mit Snapshots und erhalten die Performance von Tables langfristig. Zusätzlich lernen Sie, Storage, Catalogs, Compute, Ingestion, Maintenance und Query Workloads zu einer praktikablen Lakehouse Architecture zu verbinden.

  • Eine Apache Iceberg Lakehouse Architecture mit Object Storage, Catalogs und Spark oder Flink gestalten
  • Große analytische Tables sicher erstellen, lesen, aktualisieren und weiterentwickeln
  • Batch- und Streaming-Ingestion implementieren und Snapshots sowie Table State verwalten
  • Iceberg Tables durch Compaction, Metadata Maintenance, Monitoring und Lifecycle Management betreiben

Voraussetzungen:

  • Technischer Hintergrund in Data Engineering, Data Platforms, Analytics Engineering oder einem verwandten Bereich
  • Solides Verständnis von Data-Engineering-Konzepten und Distributed Data Processing
  • Vertrautheit mit Cloud oder Distributed Object Storage und spaltenorientierten Dateiformaten wie Parquet
  • Praktische Kenntnisse in Spark oder Flink sowie allgemeine SQL-Kenntnisse

Kursübersicht*:

*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.

Modul 1: Apache Iceberg und das Open Lakehouse Model

  • Die Rolle von Open Table Formats zwischen Compute Engines und Object Storage verstehen
  • Traditionelles Data Lake File Management mit Iceberg Table Management vergleichen
  • Data Files, Manifests, Manifest Lists, Metadata Files und Snapshots verstehen
  • Iceberg innerhalb einer vollständigen Lakehouse Architecture einordnen

Modul 2: Catalogs und Lakehouse Infrastructure

  • Die Rolle von Iceberg Catalogs für Table Discovery und Metadata Management verstehen
  • Mit REST-, Hive-, Hadoop- oder plattformspezifischen Catalog Ansätzen arbeiten
  • Spark oder Flink mit einem Iceberg Catalog und einer Warehouse Location verbinden
  • Klare Grenzen zwischen Object Storage, Catalog, Compute und Query Services gestalten

Modul 3: Iceberg Tables erstellen und abfragen

  • Namespaces und Tables mit SQL oder der gewählten Compute API erstellen
  • Schemas, Properties, Partition Specifications und Storage Locations definieren
  • Iceberg Tables mit Spark oder Flink lesen
  • Table Metadata, Snapshots, Files und Partitions untersuchen

Modul 4: Partitioning und Table Layout

  • Hidden Partitioning und Partition Transforms verstehen
  • Partition Strategies für zeitbasierte und großvolumige analytische Daten gestalten
  • Übermäßige Partitionierung und Small-File-Patterns vermeiden
  • Verstehen, wie Table Layout Pruning und Query Performance beeinflusst

Modul 5: Batch Ingestion und Write Operations

  • Daten aus Files, Transformations und Upstream Datasets anhängen
  • Mit Inserts, Overwrites und unterstützten Row-Level-Operations arbeiten
  • Atomic Commits und Snapshot Creation verstehen
  • Zuverlässige Ingestion Workflows gestalten, die sicher wiederholt werden können

Modul 6: Streaming Ingestion mit Spark oder Flink

  • Kontinuierliche Data Streams in Iceberg Tables schreiben
  • Checkpoints, Commits und Delivery Guarantees verstehen
  • Eine geeignete Commit Frequency für Streaming Workloads festlegen
  • Auswirkungen häufiger Streaming Writes auf Small Files und Metadata verwalten

Modul 7: Schema und Partition Evolution

  • Table Fields hinzufügen, entfernen, umbenennen und kompatibel ändern
  • Partition Specifications weiterentwickeln, ohne historische Daten neu zu schreiben
  • Verstehen, wie Field IDs Schema Correctness schützen
  • Kompatible Änderungen für langlebige Production Tables planen

Modul 8: Updates, Deletes und veränderliche Daten

  • Upsert- und Change-Processing-Patterns mit der gewählten Compute Engine implementieren
  • Copy-on-Write- und Merge-on-Read-Konzepte verstehen
  • MERGE, UPDATE und DELETE dort einsetzen, wo sie unterstützt werden
  • Write Patterns anhand von Freshness, Query Performance und Maintenance Requirements auswählen

Modul 9: Snapshots, Time Travel und Table History

  • Verstehen, wie Iceberg Snapshots atomare Table Versions darstellen
  • Frühere Table States mit Time Travel abfragen
  • Mit Rollback- und Recovery-Szenarien arbeiten
  • Branches und Tags für kontrollierte Data Workflows verstehen

Modul 10: Table Maintenance und Optimisation

  • Small Data Files kompaktieren, um Scan Efficiency zu verbessern
  • Manifests umschreiben, um Metadata Overhead zu reduzieren
  • Alte Snapshots entsprechend den Retention Requirements entfernen
  • Orphaned Files sicher entfernen und Maintenance Dependencies verstehen

Modul 11: Den vollständigen Lakehouse Data Flow aufbauen

  • Ingestion, Object Storage, Catalogs, Iceberg Tables und Compute Engines kombinieren
  • Batch- und Streaming-Pfade in gemeinsame Analytical Tables gestalten
  • Downstream SQL-, Analytics- und Data-Science-Workloads unterstützen
  • Klare Verantwortlichkeiten für Ingestion, Transformation, Maintenance und Consumption definieren

Modul 12: Production Operations und Lakehouse Readiness

  • File Counts, Snapshot Growth, Commit Behaviour und Table Performance überwachen
  • Concurrency, Failed Writes, Catalog Availability und Operational Recovery verwalten
  • Retention-, Maintenance-, Schema-Evolution- und Deployment-Prozesse etablieren
  • Eine praktische Production Readiness Checkliste für Storage, Catalogs, Ingestion, Evolution, Maintenance, Security und Recovery aufbauen

Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.

4.347€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
21
Stunden (Tage:
3
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Intensive praktische Erfahrung in einer speziellen Umgebung
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.

3.012€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
21
Stunden (Tage:
3
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Reduzierte Schulungskosten
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Starttermine

19.-21.01.2027
Hamburg
07.-09.04.2027
Düsseldorf
28.-30.04.2027
Köln
05.-07.05.2027
Berlin
19.-21.05.2027
Düsseldorf
16.-18.06.2027
Köln
07.-09.07.2027
Berlin

Kein passender Termin dabei? Sprechen Sie uns gerne auf Ihren Wunschtermin an.

Wir verwenden Cookies, um die Navigation zu verbessern, die Nutzung der Website auszuwerten und unser Marketing zu unterstützen. Sie können alle Cookies akzeptieren, nicht notwendige ablehnen oder einzelne Kategorien auswählen. Zum Cookie-Hinweis