Databricks Experte (m/w/d)

Aufgaben:

Für einen unserer Kunden sind wir aktuell auf der Suche nach einem erfahrenen Databricks Experte.

1 - 2 Tage vor Ort in Köln, rest remote.

Folgende Aufgaben werden Sie übernehmen:

- Analyse der bestehenden onPremise DWH-Strukturen und ETL-Strecken, einschließlich der genutzten Technologien und Datenflüsse.
- Konzeption einer Lakehouse-Architektur auf Basis von Databricks, unter Berücksichtigung von Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance-Mechanismen.
- Entwicklung und Implementierung von Datenmodellen und Datenhaltungskonzepten, einschließlich Historisierung nach SCD2.
- Migration bestehender ETL-Strecken (z. B. Informatica) nach Databricks, einschließlich der Optimierung von Datenflüssen und -prozessen.
- Programmierung und Optimierung von Datenverarbeitungsprozessen mit Python, PySpark und SQL, insbesondere für große Datenmengen.
- Sicherstellung der Integration und des Betriebs der neuen Lakehouse-Architektur in einer agilen Arbeitsweise (SCRUM).
- Erstellung einer technischen Dokumentation.

Anforderungen:

Musthave:
+ Databricks & Lakehouse Erfahrung: fundierte Praxis in der Umsetzung von Lakehouse Architekturen sowie im Aufbau und Betrieb von Databricks.
+ Migrationsexpertise: Erfahrung in der Ablösung klassischer ETL Strecken (idealerweise Informatica) und Überführung nach Databricks.
+ Datenmodellierung & DWH-Expertise: fundierte Erfahrung im klassischen Business Intelligence Umfeld: Datenhaltung, Datenmodellierung, Datentransport, Historisierung nach SCD2. Fähigkeit, bestehende onPremise DWH-Strukturen in eine moderne Lakehouse Architektur zu überführen.
+ Lakehouse und Databricks Deep Dive: Tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance Mechanismen.
+ Programmier & Datenkompetenz: sicherer Umgang mit Python, PySpark und SQL, inkl. Optimierung für große Datenmengen.
+ Sehr gute Deutschkenntnisse.

Zusätzliche Informationen:

Konnten wir Ihr Interesse wecken? Dann freuen wir uns auf die Zusendung Ihres aussagekräftigen Expertenprofils unter Angabe Ihrer Stundensatzvorstellung.