*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.
Modul 1: Apache Iceberg und das Open Lakehouse Model
- Die Rolle von Open Table Formats zwischen Compute Engines und Object Storage verstehen
- Traditionelles Data Lake File Management mit Iceberg Table Management vergleichen
- Data Files, Manifests, Manifest Lists, Metadata Files und Snapshots verstehen
- Iceberg innerhalb einer vollständigen Lakehouse Architecture einordnen
Modul 2: Catalogs und Lakehouse Infrastructure
- Die Rolle von Iceberg Catalogs für Table Discovery und Metadata Management verstehen
- Mit REST-, Hive-, Hadoop- oder plattformspezifischen Catalog Ansätzen arbeiten
- Spark oder Flink mit einem Iceberg Catalog und einer Warehouse Location verbinden
- Klare Grenzen zwischen Object Storage, Catalog, Compute und Query Services gestalten
Modul 3: Iceberg Tables erstellen und abfragen
- Namespaces und Tables mit SQL oder der gewählten Compute API erstellen
- Schemas, Properties, Partition Specifications und Storage Locations definieren
- Iceberg Tables mit Spark oder Flink lesen
- Table Metadata, Snapshots, Files und Partitions untersuchen
Modul 4: Partitioning und Table Layout
- Hidden Partitioning und Partition Transforms verstehen
- Partition Strategies für zeitbasierte und großvolumige analytische Daten gestalten
- Übermäßige Partitionierung und Small-File-Patterns vermeiden
- Verstehen, wie Table Layout Pruning und Query Performance beeinflusst
Modul 5: Batch Ingestion und Write Operations
- Daten aus Files, Transformations und Upstream Datasets anhängen
- Mit Inserts, Overwrites und unterstützten Row-Level-Operations arbeiten
- Atomic Commits und Snapshot Creation verstehen
- Zuverlässige Ingestion Workflows gestalten, die sicher wiederholt werden können
Modul 6: Streaming Ingestion mit Spark oder Flink
- Kontinuierliche Data Streams in Iceberg Tables schreiben
- Checkpoints, Commits und Delivery Guarantees verstehen
- Eine geeignete Commit Frequency für Streaming Workloads festlegen
- Auswirkungen häufiger Streaming Writes auf Small Files und Metadata verwalten
Modul 7: Schema und Partition Evolution
- Table Fields hinzufügen, entfernen, umbenennen und kompatibel ändern
- Partition Specifications weiterentwickeln, ohne historische Daten neu zu schreiben
- Verstehen, wie Field IDs Schema Correctness schützen
- Kompatible Änderungen für langlebige Production Tables planen
Modul 8: Updates, Deletes und veränderliche Daten
- Upsert- und Change-Processing-Patterns mit der gewählten Compute Engine implementieren
- Copy-on-Write- und Merge-on-Read-Konzepte verstehen
- MERGE, UPDATE und DELETE dort einsetzen, wo sie unterstützt werden
- Write Patterns anhand von Freshness, Query Performance und Maintenance Requirements auswählen
Modul 9: Snapshots, Time Travel und Table History
- Verstehen, wie Iceberg Snapshots atomare Table Versions darstellen
- Frühere Table States mit Time Travel abfragen
- Mit Rollback- und Recovery-Szenarien arbeiten
- Branches und Tags für kontrollierte Data Workflows verstehen
Modul 10: Table Maintenance und Optimisation
- Small Data Files kompaktieren, um Scan Efficiency zu verbessern
- Manifests umschreiben, um Metadata Overhead zu reduzieren
- Alte Snapshots entsprechend den Retention Requirements entfernen
- Orphaned Files sicher entfernen und Maintenance Dependencies verstehen
Modul 11: Den vollständigen Lakehouse Data Flow aufbauen
- Ingestion, Object Storage, Catalogs, Iceberg Tables und Compute Engines kombinieren
- Batch- und Streaming-Pfade in gemeinsame Analytical Tables gestalten
- Downstream SQL-, Analytics- und Data-Science-Workloads unterstützen
- Klare Verantwortlichkeiten für Ingestion, Transformation, Maintenance und Consumption definieren
Modul 12: Production Operations und Lakehouse Readiness
- File Counts, Snapshot Growth, Commit Behaviour und Table Performance überwachen
- Concurrency, Failed Writes, Catalog Availability und Operational Recovery verwalten
- Retention-, Maintenance-, Schema-Evolution- und Deployment-Prozesse etablieren
- Eine praktische Production Readiness Checkliste für Storage, Catalogs, Ingestion, Evolution, Maintenance, Security und Recovery aufbauen