*Wir passen den Kursaufbau und die Inhalte an Ihre spezifischen Anforderungen und relevanten Anwendungsfälle an.
Modul 1: ClickHouse Architektur und Analytical Database Grundlagen
- Columnar Storage verstehen und erkennen, warum dieser Ansatz für analytische Workloads geeignet ist
- Query Processing, Storage, Compression, Parallel Execution und Background Processing kennenlernen
- ClickHouse mit transaktionalen Datenbanken und traditionellen analytischen Plattformen vergleichen
- Databases, Tables, Parts, Granules und zentrale ClickHouse Objekte verstehen
Modul 2: Mit ClickHouse SQL und Datentypen arbeiten
- Databases, Tables und Views erstellen und typische analytische Queries formulieren
- Mit numerischen, String-, Date-, Array-, Tuple-, Map- und Low-Cardinality-Datentypen arbeiten
- Filtering, Aggregation, Joins, Window Functions und Analytical Expressions einsetzen
- Datentypen auswählen, die effizienten Storage und Query Processing unterstützen
Modul 3: Analytische Datenmodellierung in ClickHouse
- Tabellen anhand erwarteter Filter-, Aggregations- und Access Patterns gestalten
- Denormalisation verstehen und erkennen, wann Runtime Joins weiterhin sinnvoll sind
- Mit Dimensions, Reference Data und Dictionaries arbeiten
- Raw Event Data von transformierten und Consumption-orientierten Strukturen trennen
Modul 4: MergeTree Storage und Table Design
- MergeTree Parts, Background Merges, Sparse Indexes und Granules verstehen
- ORDER BY und Primary Keys anhand typischer Query Patterns gestalten
- PARTITION BY für geeignete Lifecycle- und Data-Management-Szenarien einsetzen
- Verstehen, wie Sorting, Partitioning und Storage Layout die Query Performance beeinflussen
Modul 5: Batch und High-Throughput Data Ingestion
- Daten über SQL, Files, HTTP Interfaces und Application Clients einlesen
- Verstehen, warum geeignete Batch Sizes für ClickHouse wichtig sind
- Asynchronous Inserts für häufige kleine Write Workloads einsetzen
- Ingestion überwachen und übermässige Erzeugung kleiner Data Parts vermeiden
Modul 6: Streaming und kontinuierliche Ingestion
- Typische Real-Time-Ingestion-Architekturen verstehen
- ClickHouse mit Kafka und verwandten Streaming Plattformen integrieren
- ClickPipes und Managed Ingestion Optionen in ClickHouse Cloud kennenlernen
- Ingestion Ansätze anhand von Throughput, Latenz, Reliability und operativen Anforderungen auswählen
Modul 7: MergeTree Engine Varianten
- Die Rolle der MergeTree Engine Family verstehen
- ReplacingMergeTree für Deduplication und Latest-State-Patterns einsetzen
- SummingMergeTree und AggregatingMergeTree für aggregationsorientierte Workloads nutzen
- Table Engines anhand von Update Behaviour, Query Patterns und Datensemantik auswählen
Modul 8: Materialized Views und Transformation Pipelines
- Incremental Materialized Views und Insert-Time-Transformationen verstehen
- Voraggregierte und transformierte Target Tables erstellen
- Materialized Views einsetzen, um Verarbeitung von Query Time auf Ingestion Time zu verlagern
- Einfache Transformation Pipelines gestalten, ohne unnötige Write Amplification oder Komplexität zu erzeugen
Modul 9: Query Execution und Performance Analysis
- ClickHouse Query Execution und Parallel Processing verstehen
- EXPLAIN zur Analyse von Query Plans, Indexes und Execution Pipelines einsetzen
- Read Rows, Selected Granules, Memory Usage und Execution Time analysieren
- system.query_log nutzen, um teure und häufig ausgeführte Query Patterns zu identifizieren
Modul 10: Query und Table Optimisation
- Data Skipping durch geeignetes ORDER BY und Primary Key Design verbessern
- Datentypen, Filtering, Joins und Aggregation Patterns optimieren
- Projections, Data Skipping Indexes und Pre-Aggregation Optionen verstehen
- Optimierungen iterativ anhand von Messungen statt durch pauschales Tuning durchführen
Modul 11: Monitoring, Security und Troubleshooting
- System Tables zur Analyse von Queries, Parts, Merges, Metrics, Events und Server State einsetzen
- Users, Roles, Privileges und Access Control verstehen
- Memory Pressure, Slow Queries, Failed Inserts und Merge-bezogene Probleme analysieren
- Storage Growth, Resource Utilisation und typische operative Bottlenecks überwachen
Modul 12: Production Operation und Reliability
- Replication, Sharding und Distributed ClickHouse Konzepte verstehen
- Backups, Retention, TTL Rules und Recovery Procedures planen
- Configuration, Limits, Workload Settings und Environment-spezifische Anforderungen verwalten
- Eine praktische Production Readiness Checkliste für Performance, Security, Monitoring, Resilience und Maintainability aufbauen