Geforderte Skills
- SQL
- Python
- AWS Glue
- AWS Glue Data Quality
- AWS Lambda
- AWS Batch
- Airflow
- Power BI
- Git
- CI/CD
- Automated Testing
- ETL/ELT Pipelines
Sprachen: German
Jobbeschreibung
Project overview
Für ein Projekt im Bereich Data & AI suchen wir einen erfahrenen Data Engineer (m/w/d) zur Umsetzung und Weiterentwicklung von Datenpipelines und Datenanwendungen in einer AWS-basierten Analyseumgebung.
Das Projekt ist hybrid ausgerichtet mit 90 % Remote-Anteil und startet zum 01.01.2027 für eine Laufzeit von 12 Monaten. Der Arbeitsort ist Frankfurt am Main.
Responsibilities
Sie entwickeln und optimieren Datenpipelines und Datenanwendungen mit SQL, Python, AWS Glue, AWS Lambda, AWS Batch sowie Airflow/MWAA. Weitere Aufgaben umfassen die Erstellung von Power-BI-Dashboards, die Arbeit mit Docker und Git, die Implementierung von CI/CD-Prozessen, Testing, Fehleranalyse und technische Dokumentation.
Requirements
Technologien: AWS, Python, SQL, Git, CI/CD, Power BI, AWS Glue, Lambda, Batch, Airflow, MWAA, Docker, Data Science.
- Fundierte Erfahrung in der Softwareentwicklung mit Git, CI/CD und automatisierten Tests
- Projekterfahrung mit Power BI als BI- und Dashboard-Lösung
- Nachgewiesene Erfahrung mit ETL-/ELT-Pipelines und Datenmodellierung (SQL, Python oder vergleichbar)
- Projekterfahrung mit AWS Cloud-Services für Datenverarbeitung und Pipeline-Entwicklung
- Praktische Erfahrung mit AWS Glue Data Quality und der Erstellung entsprechender Regeln
- Erfahrung mit serverlosen Datenplattformen und Orchestrierungslösungen
- Kenntnisse in Data Science und etablierten Verfahren (Prognose, Klassifikation, Clustering, Anomalieerkennung)
- Erfahrung mit agilen Methoden (Scrum, Kanban)
- Praktische Docker-Erfahrung
- Vorteilhaft: Erfahrung mit Daten aus Transport und Logistik
Indexiert von der 9am-Meta-Suche. Du bist Job-Anbieter? Listing beanspruchen oder verwalten
Gefunden auf nexus.webconia.de