Senior Databricks Engineer – DWH-Migration (m/w/d)

Project overview

Für unseren Kunden besetzen wir auf freiberuflicher Basis einen

Senior Databricks Engineer – DWH-Migration (m/w/d)

Responsibilities

Qualifikationen:

Was der Kunde zwischen den Zeilen sucht:

Einen erfahrenen, operativ starken Data Engineer, der klassische DWH-Strukturen versteht und eigenständig in eine produktive Databricks-Lösung überführen kann.

Jemanden, der neben der Entwicklung auch Datenqualität, Betriebssicherheit und einen reibungslosen Übergang vom Alt- zum Zielsystem im Blick behält.

Wir freuen uns auf deine Bewerbung!

• Migration eines bestehenden Oracle-/Informatica-Data-Warehouse in eine moderne Azure-/Databricks-Lakehouse-Architektur.
• Überführung bestehender ETL-Prozesse in robuste, skalierbare und performante Databricks-Datenpipelines.
• Umsetzung und Weiterentwicklung von Datenmodellen, Datenqualität, Historisierung sowie Berechtigungs- und Governance-Konzepten.
• Durchführung und Begleitung von Tests, Parallelbetrieb und Cutover.
• Enge Zusammenarbeit mit Fachbereichen und weiteren Data Engineers innerhalb eines Scrum-Teams.
• Fundierte praktische Erfahrung mit Microsoft Azure, Databricks und Lakehouse-Architekturen sowie im Aufbau und Betrieb von Databricks.
• Tiefe Kenntnisse in Delta Lake, Unity Catalog und DLT/SDP sowie in Berechtigungsmodellen und Data Governance.
• Sehr gute Kenntnisse in Python, PySpark und SQL einschließlich Performance-Optimierung großer Datenmengen sowie sicherer Einsatz KI-gestützter Entwicklungswerkzeuge.
• Fundierte DWH-/BI-Erfahrung in Datenhaltung, Datenmodellierung, Datentransport und SCD2-Historisierung; idealerweise Erfahrung mit ETL-Migrationen nach Databricks sowie Oracle und Informatica.
• Erfahrung als Entwickler im Scrum-Team, ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie sichere Kommunikation mit Fachbereichen und Entwicklungsteams.

Project details

ASAP

Dauer: Bis Ende 2027

100%

Hybrid (Großraum Köln und Remote) 2 Tage pro Woche vor Ort; Bestenfalls aus NRW