Senior Data Engineer (m/w/d) – Fokus: Dagster & Python / Cloud

Project overview

Projektdetails:

Ziel des Einsatzes ist es, die interne IT unseres Kunden durch erfahrene Expertise zu ergänzen, um ein produktionstaugliches infrastrukturelles Setup inklusive Betriebsmodell mit dem internen IT-Dienstleister zu konzipieren und die Datenstrecken unter Einsatz moderner Prinzipien (CI/CD, automatisiertes Testing, Code-Reviews) agil aufzubauen.

• Laufzeit: 01.12.2026
• 31.12.2027
• Auslastung: Gesamt PT 202 / davon Onsite PT 10 (in Berlin)

Responsibilities

Fähigkeiten

• Beratung bei der Strukturierung und Implementierung von Datenstrecken mit der Python-Open-Source-Bibliothek Dagster hinsichtlich der Nutzung und Umsetzung verfügbarer Features (z. B. Sensors, Partitions etc.) inkl. Dokumentation und Hands-on-Entwicklung
• Beratung beim Einsatz von Dagster-Integrationen, insbesondere dagster-dbt sowie embedded-elt mit dlt (inkl. Hands-on-Unterstützung durch Programmcode)
• Umsetzung des automatisierten Deployments von Dagster-Code auf einem Kubernetes-Cluster (CI/CD)
• Entwicklung von Dagster-Komponenten wie Resources, Assets, Sensors etc. gemäß Anforderungen inklusive Dokumentation
• Durchführung von Code-Reviews
• Aktive Teilnahme an agilen Regelterminen (Planning, Dailies/Scrums, Retrospektiven)
• Must-have: Dagster Experte Erfahrung im Aufbau und Umsetzung komplexer dagster-Projekte insb. dagster-dbt, embedded-elt mit dlt
• Erfahrungslevel in Jahren: Junior ( 5 Jahre Erfahrung)
• Must-have: Data Engineering Experte Beratung hinsichtlich der Nutzung und Umsetzung der Features inkl. Dokumentation
• Erfahrungslevel in Jahren: Senior (> 5 Jahre Erfahrung)
• Erfahrung mit komplexen dbt Projekten mit dbt-core
• Anzahl Referenzen: 3
• Erfahrung mit Projekten auf AWS Infrastruktur
• Anzahl Referenzen: 1 (Gewichtung: 25%)
• Erfahrung im Einsatz von containerisierten open-source-Orchestratoren bei Aufbau und Betrieb von Datenstrecken durch Entwickler-Teams (Airflow oder dagster)
• Know-How im agilen Projektmanagement z.B. IAPM/CAPM, PMI Agile Certified Practitioner, Scaled Agile Framework
• Nachweis der Zertifizierung und Referenzen zur Anwendung (Gewichtung: 25%)
• Erfahrungen mit komplexen dbt Projekten mit dbt-core
• Anzahl Referenzen: 3 (Gewichtung: 25%)