Databricks Data Engineer (m/w/d)

Project overview

Für unseren Kunden im Einzugsgebiet Köln suchen wir einen Databricks Data Engineer (m/w/d).

Responsibilities

• Migration eines bestehenden Oracle-/Informatica-DWH in eine moderne Azure-/Databricks-Lakehouse-Architektur
• Entwicklung und Optimierung skalierbarer Datenpipelines mit Databricks, Python, PySpark und SQL
• Überführung bestehender ETL-Prozesse in performante Databricks-Pipelines
• Sicherstellung von Datenqualität, Governance und Berechtigungsmanagement
• Umsetzung und Optimierung von Datenmodellen einschließlich Historisierung nach SCD2
• Begleitung von Tests, Parallelbetrieb und Cutover im Rahmen der Migration
• Enge Zusammenarbeit mit Fachbereichen und Entwicklungsteams innerhalb eines agilen Scrum-Team

Requirements

Haben Sie Zeit und Interesse an einem spannenden Projekt?

Dann freuen wir uns auf Ihre Kontaktaufnahme!

• Fundierte Erfahrung mit Databricks und der Umsetzung von Lakehouse-Architekturen
• Tiefgreifende Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP und Data Governance
• Sehr gute Kenntnisse in Python, PySpark und SQL sowie in der Verarbeitung und Performanceoptimierung großer Datenmengen
• Erfahrung in der Datenmodellierung, im Data Warehousing und in der Historisierung nach SCD2
• Kenntnisse in der Migration klassischer ETL-Prozesse nach Databricks von Vorteil
• Erfahrung in der agilen Softwareentwicklung nach Scrum
• Sicherer Umgang mit KI-gestützten Entwicklungstools zur Effizienzsteigerung
• Selbstständige, strukturierte Arbeitsweise sowie ausgezeichnete Deutschkenntnisse