Senior Data Engineer (m/w/d) – AFRA #121

Project overview

Im Finanzbereich eines führenden Großkonzerns im Mobilitäts- und Transportumfeld entsteht eine moderne Datenplattform, die zentrale Fachbereiche, Geschäftsfelder und Service Center für Analytics-Zwecke aus einer Hand mit Finanzdaten und strukturierten Datenprodukten versorgt. Das Vorhaben steht in starker inhaltlicher Abhängigkeit zu einem konzernweiten SAP-Transformationsprojekt, durch welches neue Datenquellen entstehen und bisherige Datenprodukte neu erarbeitet und gestaltet werden müssen.

Mit der neuen Plattform werden zudem gewachsene Eigenentwicklungen der Fachbereiche durch Cloud-Komponenten und Open-Source-Frameworks abgelöst. Der eingesetzte Tech-Stack ist primär SQL-basiert und wird durch Python-Komponenten ergänzt. Als Cloud Data Warehouse kommt AWS Redshift zum Einsatz, wobei die Integration der SAP- und weiterer Datenquellen zentral erfolgt (Multi-Clusterinstanz-Modell via Data Sharing). Zur Datentransformation, Qualitätssicherung und Dokumentation wird maßgeblich dbt-core eingesetzt; zur Orchestrierung dienen Python-Frameworks wie Dagster bzw. Airflow (containerisiert).

Das Ziel ist die Konzeption und Realisierung eines produktionstauglichen Setups inkl. Betriebsmodell sowie der Aufbau nachhaltiger, wartbarer Datenstrecken unter Einsatz moderner Entwicklungsmethoden (CI/CD, automatisierte Tests, Reviews) im agilen Modus.

Leistungen:

Anforderungen – must have: (zwingend erforderlich, auch in Jahren und in den einzelnen Projektreferenzen aufgeführt und erläutert!)

• Beratung bei der Strukturierung der Implementierung von Datenstrecken mit der Python-Open-Source-Bibliothek Dagster hinsichtlich der Nutzung und Umsetzung der verfügbaren Features (z. B. Sensors, Partitions etc.) inkl. Dokumentation und Hands-on-Unterstützung durch Code-Beiträge
• Beratung beim Einsatz von Dagster-Integrationen, insbesondere dagster-dbt und embedded-elt mit dlt (inkl. Hands-on-Entwicklung)
• Umsetzung beim automatisierten Deployment von Dagster-Code auf einem Kubernetes-Cluster (CI/CD)
• Entwicklung von Dagster-Komponenten wie Resources, Assets, Sensors etc. gemäß Anforderungen inkl. Dokumentation
• Durchführen von Code-Reviews
• Dagster Experte Erfahrung im Aufbau und Umsetzung komplexer dagster-Projekte insb. dagster-dbt, embedded-elt mit dlt // mind. <= 3 Jahre
• Python Experte
• Beratung und Strukturierung der Implementierung von Datenstrecken // mind. 5 Jahre
• Data Engineering Experte
• Beratung hinsichtlich der Nutzung und Umsetzung der Features inkl. Dokumentation // mind. 5 Jahre
• Erfahrung mit komplexen dbt Projekten mit dbt-core Anzahl Referenzen 3

Requirements

• Erfahrung mit Projekten auf AWS Infrastruktur Anzahl Referenzen 1
• Erfahrung im Einsatz von containerisierten open-source-Orchestratoren bei Aufbau und Betrieb von Datenstrecken durch Entwickler-Teams (Airflow oder dagster) Anzahl Referenzen 1
• Know-How im agilen Projektmanagement z.B. IAPM/CAPM, PMI Agile Certified Practitioner, Scaled Agile Framework Zertifikate Nachweis der Zertifizierung und Referenzen zur Anwendung
• Erfahrungen mit komplexen dbt Projekten mit dbt-core Anzahl Referenzen 3

Project details

Zeitraum: 01.12.2026 – 31.12.2027 + Option auf Verlängerung

95% Remote / 5% onsite in Berlin

Projektsprache: Deutsch

Vollzeit

Sonstiges: Wohnsitz in Deutschland

Ich freue mich auf die Zusendung Ihres Profils inkl. Verfügbarkeit und gewünschter Konditionen!