Required skills
- AWS
- AWS Glue Data Quality
- Power BI
- Python
- SQL
- PySpark
- Apache Spark
- ETL
- ELT
- Data Modeling
- Data Exploration
- Data Analysis
Languages: German
Job description
Project overview
Für ein Projekt im Bereich Transport und Logistik suchen wir einen erfahrenen Data Engineer (m/w/d) zur Entwicklung und Automatisierung von produktionsreifen Datenpipelines in einer cloudnativen AWS-Umgebung.
Ihre Aufgaben umfassen die Konzeption, Implementierung und Qualitätssicherung von ETL-/ELT-Strecken sowie die Erstellung von Datenmodellen mit SQL, Python und Spark/PySpark. Sie arbeiten mit AWS-Managed-Services, implementieren Data-Quality-Prozesse und etablieren CI/CD-Pipelines. Darüber hinaus unterstützen Sie teilweise bei Product-Owner-Aufgaben wie Anforderungsaufnahme, Priorisierung und Backlog-Management.
Wir erwarten mindestens 5 Jahre Erfahrung in der Entwicklung und Automatisierung von Datenpipelines, davon mindestens 3 Jahre mit AWS-Cloud-Technologien und Managed Services. Sie sollten fundierte Kenntnisse in Datenexploration, Datenanalyse, Datenmodellierung und Data Stewardship mitbringen sowie Erfahrung mit Softwareentwicklungspraktiken wie Versionsverwaltung, CI/CD und automatisierten Tests haben. Projekterfahrung mit AWS Glue Data Quality und Power BI ist erforderlich.
Vorteilhaft sind Erfahrungen mit serverlosen Cloud-Datenplattformen, Data-Science-Verfahren (Prognose, Klassifikation, Clustering), Docker-Containern sowie Kenntnisse im Umgang mit Transport- und Logistikdaten.
Das Projekt startet zum 01.01.2027 und läuft über 12 Monate. Der Arbeitsort ist Frankfurt am Main mit 90% Remote-Anteil. Wir freuen uns auf Ihre Bewerbung mit CV und Stundensatz.
Indexed by 9am's meta-search. You are a job provider? Claim or manage this listing
Found on nexus.webconia.de