Katalog
/
Datenanalyse
/
Polars für High-Performance DataFrame Processing mit Python

Polars für High-Performance DataFrame Processing mit Python

Ein praxisnaher zweitägiger technischer Kurs für Teilnehmende, die neu mit Polars arbeiten und Daten effizient mit Python verarbeiten und transformieren möchten. Die Agenda führt von DataFrame Grundlagen und dem Polars Expression System über Joins, Aggregationen und File Processing bis zu Lazy Execution, Query Optimization und Larger-than-Memory-Workflows. Der Kurs konzentriert sich auf idiomatische Polars Patterns, mit denen analytischer und Data-Engineering-Code schnell, übersichtlich und wartbar gestaltet werden kann.

Was werden Sie lernen?

Sie lernen, wie DataFrames mit Polars und seiner Expression-basierten API erstellt, transformiert, kombiniert und analysiert werden. Sie arbeiten mit typischen analytischen Operationen, strukturierten und verschachtelten Daten, Parquet- und CSV-Dateien, Joins, Aggregationen und wiederverwendbaren Transformation Pipelines. Zusätzlich lernen Sie, wie Lazy Execution und der Query Optimizer funktionieren und wie effiziente Processing Workflows für größere Datensätze gestaltet werden.

  • Effiziente DataFrame Transformationen mit Polars Expressions durchführen
  • Analytische Datensätze kombinieren, aggregieren, umstrukturieren und verarbeiten
  • Lazy Execution, Query Optimization und Streaming für effiziente Datenverarbeitung einsetzen
  • Wartbare Python Data Workflows mit Polars und spaltenorientierten Dateiformaten entwickeln

Voraussetzungen:

  • Technischer Hintergrund in Software Development, Data Engineering, Analytics, Data Science oder einem verwandten Bereich
  • Grundlegende Python Kenntnisse
  • Grundlegende Vertrautheit mit tabellarischen Daten und Datenverarbeitungskonzepten
  • Vorherige Erfahrung mit pandas oder NumPy ist hilfreich, aber nicht erforderlich

Kursübersicht*:

*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.

Modul 1: Polars Architektur und DataFrame Grundlagen

  • Polars und sein spaltenorientiertes, Multi-Threaded Processing Model verstehen
  • DataFrames erstellen und Schemas, Columns und Data Types untersuchen
  • CSV, Parquet, JSON und weitere verbreitete Formate lesen und schreiben
  • Zentrale Polars Konzepte mit vertrauten pandas-orientierten Workflows vergleichen

Modul 2: Expressions und Column Transformations

  • Polars Expressions und Expression Contexts verstehen
  • Columns auswählen, erstellen, umbenennen, casten und transformieren
  • Conditional Expressions, String Operations, Date- und Time-Functions sowie Null Handling einsetzen
  • Expressions zu kompakter und wiederverwendbarer Transformation Logic kombinieren

Modul 3: Filtering, Sorting, Grouping und Aggregation

  • Rows mit Expression-basierten Bedingungen filtern
  • Daten für analytische Workflows sortieren und auswählen
  • Daten gruppieren und mehrere Aggregation Expressions anwenden
  • Window Expressions für Berechnungen innerhalb von Gruppen einsetzen, ohne Rows zusammenzufassen

Modul 4: Joins, Reshaping und strukturierte Daten

  • DataFrames mit Inner-, Left-, Full-, Semi- und Anti-Joins kombinieren
  • Join Keys, Duplicate Matches und typische Join Probleme verstehen
  • Daten mit Pivoting, Unpivoting und verwandten Operationen umstrukturieren
  • Bei geeigneten Use Cases mit Lists, Structs und Nested Data arbeiten

Modul 5: Lazy Execution und die Polars Query Engine

  • Eager DataFrames und LazyFrames vergleichen
  • Transformation Pipelines aufbauen, ohne jede Operation sofort auszuführen
  • Query Planning und automatische Optimization verstehen
  • Optimierte Queries mit collect ausführen und Query Plans untersuchen

Modul 6: Effizientes File und Parquet Processing

  • scan_csv, scan_parquet und verwandte Lazy Data Sources einsetzen
  • Projection und Predicate Pushdown verstehen
  • Partitionierte und aus mehreren Dateien bestehende Datensätze effizient verarbeiten
  • Transformierte Ergebnisse mit Parquet und Streaming Sink Operations schreiben

Modul 7: Performance Optimization und größere Datensätze

  • Verstehen, wie Column Selection, Filtering, Data Types und Query Structure die Performance beeinflussen
  • Unnötige Python Loops und zeilenweise Verarbeitung vermeiden
  • Die Streaming Engine für speichereffiziente Verarbeitung einsetzen
  • Erkennen, wann Eager Execution, Lazy Execution oder Streaming am besten geeignet ist

Modul 8: Wartbare Polars Workflows gestalten

  • Wiederverwendbare Transformation Functions auf Basis von Polars Expressions strukturieren
  • Klare Pipelines von Raw Input über Cleaning und Transformation bis zum analytischen Output entwickeln
  • Polars mit Python Anwendungen und angrenzenden Data Processing Tools integrieren
  • Eine praktische Checkliste für Correctness, Performance, Memory Efficiency, Readability und Maintainability aufbauen

Praxisnahes Lernen mit erfahrenen Trainern an Ihrem Standort für Organisationen.

3.072€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Intensive praktische Erfahrung in einer speziellen Umgebung
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Neue Fähigkeiten erlernen, angeleitet von erfahrenen Trainern von überall.

2.037€*
Graph Icon - Education X Webflow Template
Niveau:
intermediate
Clock Icon - Education X Webflow Template
Dauer:
14
Stunden (Tage:
2
)
Camera Icon - Education X Webflow Template
Training angepasst an Ihre Bedürfnisse
Star Icon - Education X Webflow Template
Reduzierte Schulungskosten
*Der Preis kann je nach Teilnehmerzahl, Änderung des Programms, Standort usw. variieren.

Starttermine

14.-15.01.2027
München
23.-24.02.2027
Köln
11.-12.03.2027
Hamburg
22.-23.04.2027
Stuttgart
09.-10.06.2027
Düsseldorf
22.-23.06.2027
München

Kein passender Termin dabei? Sprechen Sie uns gerne auf Ihren Wunschtermin an.

Wir verwenden Cookies, um die Navigation zu verbessern, die Nutzung der Website auszuwerten und unser Marketing zu unterstützen. Sie können alle Cookies akzeptieren, nicht notwendige ablehnen oder einzelne Kategorien auswählen. Zum Cookie-Hinweis