Data Engineer – Python / Airflow / Azure Databricks (m/w/d)

Project overview

Description

Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.

• Entwicklung und Weiterentwicklung von Data Products
• Aufbau und Pflege von Ingestion- und Transformationspipelines
• Sicherstellung von Datenqualität und Performance
• Entwicklung und Verwaltung von Apache-Airflow-DAGs
• Mitarbeit bei Architekturentscheidungen rund um die Data Platform
• Unterstützung der Migration in Richtung Azure Databricks
• Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
• Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen

Requirements

• Mehrjährige Erfahrung als Data Engineer
• Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry
• Fundierte Erfahrung mit Apache Airflow
• Sehr gute SQL- und PostgreSQL-Kenntnisse
• Erfahrung mit Azure Databricks
• Kenntnisse in Docker, Kubernetes oder OpenShift
• Erfahrung mit Azure DevOps / CI/CD
• Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen
• Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3
• Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit