Databricks Data Engineer (Azure / DWH Migration)

Responsibilities

• Migration eines bestehenden Oracle/Informatica DWH in eine moderne Azure/Databricks Lakehouse Architektur
• Entwicklung und Optimierung performanter ETL und Datenpipelines mit Databricks
• Sicherstellung von Datenqualität, Data Governance und Berechtigungskonzepten
• Begleitung von Tests, Parallelbetrieb und Cutover im Rahmen der Migration
• Enge Zusammenarbeit mit Fachbereichen und Data Engineers in einem agilen Scrum Team
• Einsatz KI basierter Tools zur Effizienzsteigerung in der Entwicklung

Requirements

• Fundierte Erfahrung mit Databricks, Azure und Lakehouse Architekturen
• Sehr gute Kenntnisse in Delta Lake, Unity Catalog sowie DLT/SDP
• Sehr gute Programmierkenntnisse in Python, PySpark und SQL sowie Erfahrung in der Performance Optimierung großer Datenmengen
• Erfahrung mit DWH Architekturen, Datenmodellierung, ETL Prozessen und Historisierung mittels SCD Type 2
• Idealerweise Erfahrung in der Migration klassischer DWH und ETL Landschaften nach Databricks
• Erfahrung in der agilen Softwareentwicklung mit Scrum
• Sehr gute Deutschkenntnisse in Wort und Schrift sowie ausgeprägte Kommunikationsfähigkeit

Project details

asap

100% (5 Tage die Woche)

2 Tage Vorort in Köln & 3 Tage Remote (wöchentlich)