Senior Data Engineer – Databricks & DWH-Modernisierung (m/w/d)

Project overview

Für unseren Kunden besetzen wir auf freiberuflicher Basis einen

Senior Data Engineer – Databricks & DWH-Modernisierung (m/w/d)

Responsibilities

Technische Modernisierung einer bestehenden Oracle-/Informatica-DWH-Landschaft und Überführung in eine Azure-/Databricks-Lakehouse-Architektur.

Entwicklung und Optimierung skalierbarer Datenpipelines zur Ablösung bestehender ETL-Strecken.

Umsetzung geeigneter Datenmodelle und Historisierungskonzepte sowie Sicherstellung von Datenqualität, Berechtigungen und Governance.

Absicherung der Migration durch Tests, Datenabgleiche und Begleitung von Parallelbetrieb und Cutover.

Abstimmung fachlicher Anforderungen und iterative Umsetzung gemeinsam mit Fachbereichen und Data Engineers im Scrum-Team.

Qualifikationen:

Fundierte Erfahrung mit Azure Databricks und der praktischen Umsetzung von Lakehouse-Architekturen einschließlich Aufbau und Betrieb.

Tiefe Kenntnisse in Delta Lake, Unity Catalog und DLT/SDP sowie in Berechtigungs- und Governance-Konzepten.

Sehr gute Kenntnisse in Python, PySpark und SQL sowie Erfahrung in der Performance-Optimierung großer Datenmengen und im Einsatz KI-gestützter Entwicklungswerkzeuge.

Ausgeprägte DWH-/BI-Kompetenz in Datenmodellierung, Datenhaltung, Datentransport und SCD2-Historisierung; idealerweise Erfahrung mit der Migration klassischer ETL-Prozesse nach Databricks sowie Kenntnisse in Oracle und Informatica.

Erfahrung in der agilen Softwareentwicklung nach Scrum, ausgezeichnete Deutschkenntnisse und eine klare Kommunikation mit technischen Teams und Fachbereichen.

Wir freuen uns auf deine Bewerbung!

Project details

ASAP

Dauer: 14 Monate

100%

Köln/Bonn - Hybrid (Daher bitte im Pendelbereich)