Katalog
/
Datenbanken
/
DuckDB für leichtgewichtige High-Performance Analytical SQL Workloads

DuckDB für leichtgewichtige High-Performance Analytical SQL Workloads

Ein praxisnaher zweitägiger technischer Kurs für Teilnehmende, die neu mit DuckDB arbeiten und leistungsfähiges Analytical SQL direkt in lokalen, Data-Engineering- und Python-Workflows einsetzen möchten. Die Agenda führt von DuckDB Architektur und Analytical SQL über direkte File Queries und Parquet Integration bis zu Python Interoperability und Performance Optimisation. Der Kurs konzentriert sich darauf, DuckDB effektiv als Embedded Analytical Engine einzusetzen, ohne unnötige Infrastruktur aufzubauen.

Was werden Sie lernen?

Sie lernen, wie DuckDB analytische Workloads verarbeitet, wie lokale und entfernte Datensätze direkt mit SQL abgefragt und wie Parquet und andere spaltenorientierte Daten effizient verarbeitet werden. Sie integrieren DuckDB mit Python und verbreiteten Data-Processing-Libraries und verstehen, wann Persistent Databases, In-Memory Processing oder direkter File Access geeignet sind. Zusätzlich lernen Sie, Query Execution zu analysieren und Workloads für eine effiziente Nutzung von CPU, Memory, Storage und externen Daten zu optimieren.

  • DuckDB und Analytical SQL für komplexe Datenexploration und Transformation einsetzen
  • Parquet Datensätze effizient abfragen, transformieren und exportieren
  • DuckDB mit Python sowie gängigen DataFrame- und Arrow-Workflows integrieren
  • DuckDB Workloads hinsichtlich Performance und Ressourceneffizienz analysieren und optimieren

Voraussetzungen:

  • Technischer Hintergrund in Software Development, Data Engineering, Analytics, Data Science oder einem verwandten Bereich
  • Grundlegende SQL Kenntnisse
  • Grundlegende Python Kenntnisse sind für die Integrationsmodule hilfreich
  • Keine vorherige DuckDB Erfahrung erforderlich

Kursübersicht*:

*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.

Modul 1: DuckDB Architektur und analytische Verarbeitung

  • DuckDB als Embedded Analytical Database Engine verstehen
  • In-Process Analytics mit Client-Server-Datenbankarchitekturen vergleichen
  • Mit In-Memory- und persistenten DuckDB Databases arbeiten
  • Columnar Execution, Vectorised Processing, Parallelism und typische DuckDB Use Cases verstehen

Modul 2: Analytical SQL mit DuckDB

  • Tables, Views und wiederverwendbare analytische Queries erstellen
  • Mit Aggregations, Joins, Common Table Expressions und Window Functions arbeiten
  • Lists, Structs, Maps und weitere Datentypen für analytische Workloads einsetzen
  • DuckDB SQL Funktionen für Datenexploration und Transformation verwenden

Modul 3: Dateien direkt abfragen

  • CSV-, JSON- und Parquet-Dateien abfragen, ohne sie vorher in Database Tables zu laden
  • Mit mehreren Dateien, File Patterns und partitionierten Datensätzen arbeiten
  • Tables und Views aus externen Dateien erstellen, wenn Persistenz sinnvoll ist
  • Zwischen direktem File Access und dem Laden von Daten in DuckDB Storage entscheiden

Modul 4: Parquet Integration und analytische Datenworkflows

  • Parquet direkt aus DuckDB lesen und schreiben
  • Columnar Storage, Row Groups, Compression und Parquet Metadata verstehen
  • Filter und Projection Pushdown einsetzen, um unnötige Datenzugriffe zu reduzieren
  • Partitionierte und entfernte Parquet Datensätze effizient abfragen

Modul 5: DuckDB mit Python

  • In-Memory- und persistente DuckDB Databases aus Python anbinden
  • Parametrisierte SQL Queries ausführen und Query Results abrufen
  • Python Objects und DataFrames direkt aus DuckDB abfragen
  • Connections verwalten und wiederverwendbare analytische Workflows strukturieren

Modul 6: DataFrame und Arrow Integration

  • Daten zwischen DuckDB, pandas, Polars und Apache Arrow austauschen
  • DataFrames direkt mit SQL abfragen, ohne unnötige Datenkopien zu erzeugen
  • Zwischen SQL und DataFrame Operations für unterschiedliche Transformation Tasks auswählen
  • Python Application Logic mit DuckDB Analytical Processing kombinieren

Modul 7: Query Analysis und Performance Optimisation

  • EXPLAIN und EXPLAIN ANALYZE einsetzen, um Query Execution zu verstehen
  • Gelesene Datenmengen durch Filtering, Projection, Sorting und geeignete Parquet Organisation reduzieren
  • Threads, Memory Limits und Spill-to-Disk Behaviour für unterschiedliche Workloads konfigurieren
  • Ineffiziente Joins, übermässigen Memory Use, unnötige Datenbewegung und weitere Performance Probleme erkennen

Modul 8: Effiziente DuckDB Analytical Workflows gestalten

  • Zwischen Persistent Tables, In-Memory Data und direkten File Queries auswählen
  • Wiederholbare Transformationen von Raw Files zu analytischen Outputs gestalten
  • Mit Larger-than-Memory-Datensätzen und Remote Data Sources arbeiten
  • Eine praktische Checkliste für Data Layout, Connections, Performance, Reproducibility und Maintainability aufbauen

Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.

3.072€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Intensive praktische Erfahrung in einer speziellen Umgebung
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.

2.037€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Reduzierte Schulungskosten
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Starttermine

05.-06.01.2027
Hamburg
11.-12.02.2027
Stuttgart
09.-10.03.2027
Hamburg
25.-26.03.2027
Wien
06.-07.04.2027
Köln
20.-21.05.2027
München
29.-30.06.2027
München

Kein passender Termin dabei? Sprechen Sie uns gerne auf Ihren Wunschtermin an.

Wir verwenden Cookies, um die Navigation zu verbessern, die Nutzung der Website auszuwerten und unser Marketing zu unterstützen. Sie können alle Cookies akzeptieren, nicht notwendige ablehnen oder einzelne Kategorien auswählen. Zum Cookie-Hinweis