Required skills
- Python
- AWS
- PostgreSQL
- PySpark
- ETL Pipeline Development
- AWS Lambda
- AWS Glue
- AWS RDS
- AWS Step Functions
- AWS Athena
- AWS CDK
- Infrastructure as Code
- GitLab CI
Languages: German
Job description
Project overview
Für ein Projekt im Bereich Transport und Logistik suchen wir einen erfahrenen Data Engineer (m/w/d) mit Schwerpunkt auf Cloud-Technologien und Datenverarbeitung.
Responsibilities
Sie entwickeln und betreiben eine Cloud-Anwendung auf Basis von AWS, Python und PostgreSQL. Ihre Verantwortung umfasst die Konzeption und Implementierung von ETL-Pipelines, die Anbindung von Datenquellen via APIs oder Cross-Account-Zugriff, die Entwicklung automatisierter Tests (Unit- und Integrationstests) sowie Data Quality Tests. Darüber hinaus kümmern Sie sich um Monitoring, Logging und Alerting. Sie bauen und pflegen CI/CD-Pipelines mit GitLab CI und implementieren Security-Scanner.
Requirements
Sie bringen mindestens 3 Jahre Erfahrung in Python-Softwareentwicklung mit, einschließlich Testing und Code-Qualität. Umfangreiche Erfahrung in der AWS-Cloud-Entwicklung (Lambda, Glue, RDS, Step Functions, Athena) ist erforderlich. Sie haben nachgewiesene Expertise in der Entwicklung von ETL-Pipelines mit Python/PySpark und Erfahrung mit Infrastructure as Code mittels AWS CDK. Kenntnisse in GitLab CI und CI/CD-Prozessen sind notwendig.
Vorteilhaft sind Erfahrungen in Cloud-Architekturkonzeption, PostgreSQL/AWS RDS, AWS IAM und Data Governance sowie Kenntnisse im Schienenverkehr.
Rahmen:
Das Projekt startet am 01.01.2027 und läuft für 12 Monate. Der Arbeitsort ist Frankfurt am Main mit 95% Remote-Option. Die Position ist als Freiberufler konzipiert.
Wir freuen uns auf Ihre Bewerbung mit CV und Stundensatz.
Indexed by 9am's meta-search. You are a job provider? Claim or manage this listing
Found on nexus.webconia.de