Data Engineering und Automatisierung für Finanzanalytik

Modul 1: Datenfundamente und Ingestion-Muster im Finanzumfeld

• Quelllandschaft Kernbank, Handel, Police, ERP, CRM, Marktdaten

• Ingestion-Varianten Batch, Micro-Batch, Streaming und passende Einsätze

• Dateien, APIs und Message Queues praktische Connectoren und Formate CSV, Parquet, JSON

• Landing Zones, Namensstandards und Basis-Metadaten

Modul 2: ELT oder ETL für Analytics

• Staging, Core und Präsentationsschicht im Lakehouse oder Warehouse

• Dimensionale und Wide-Table-Muster für Finanzanalysen

• Slowly Changing Dimensions für Produkte, Kunden, Konten

• Schlüssel, Deduplizierung und Umgang mit spät eintreffenden Daten

Modul 3: Datenqualität und Validierung

• Geschäftsregeln Vollständigkeit, Gültigkeit, Konsistenz, Aktualität

• Automatische Checks in SQL oder Python mit Schwellen und Alerts

• Abgleichsmuster Summen, Salden und Kontrollkonten

• Erfassung und Behebung von Data Quality Incidents mit Lineage-Kontext

Modul 4: Governance, Sicherheit und Lineage-Grundlagen

• Zugriffskontrolle Rollen, Row Level, Spaltenmaskierung

• PII und sensible Felder Tokenisierung und selektive Verschlüsselung

• Lineage-Erfassung aus Jobs und Queries für Nachvollziehbarkeit

• Dokumentation, der Auditoren folgen können Fakten, Regeln, Verantwortliche

Modul 5: Zuverlässige Workflows orchestrieren

• Scheduling-Konzepte Abhängigkeiten, Retries, SLAs, Backfill

• Muster mit Airflow, Prefect oder Cloud-Schedulern

• Idempotenz und Exactly-Once-Verhalten für wiederholbare Läufe

• Parametrisierung für Umgebungen und Datumspartitionen

Modul 6: Performance und Kostenbewusstsein

• Partitionierung, Clustering und Pruning für große Faktentabellen

• Caching, inkrementelle Modelle und Materialisierungsoptionen

• Effiziente Joins und Window Functions für Finanzmetriken

• Kostensignale Storage, Compute, Egress und einfache Leitplanken

‍