Senior Data & AI Engineer – Azure & Databricks (m/w/d) ab + Monate) // remote

Project overview

Senior Data & AI Engineer – Azure & Databricks (m/w/d) ab *+Monate)

Für einen unserer Kunden suchen wir einen erfahrenen Senior Data & AI Engineer zur Entwicklung und produktiven Umsetzung moderner Daten- und KI-Lösungen auf Basis von Microsoft Azure und Databricks.

Ziel des Projekts ist es, interne Datenquellen und Systeme zuverlässig anzubinden, Daten effizient aufzubereiten und darauf aufbauend produktive LLM-Anwendungen zu entwickeln. Der Schwerpunkt liegt auf Azure OpenAI, RAG, KI-Agenten sowie der Automatisierung und dem sicheren Betrieb von Daten- und KI-Prozessen.

Responsibilities

Das bringen Sie für das Projekt mit:

Skills: Azure Databricks, Microsoft Azure, Data Engineering, Python, SQL, Apache Spark, PySpark, Delta Lake, Lakehouse, Azure OpenAI, Generative AI, LLM, RAG, Embeddings, Vector Search, AI Agents, Tool Calling, Databricks Workflows, MLflow, Mosaic AI, MLOps, CI/CD, Azure Data Factory, Azure Functions, ADLS, Unity Catalog, Azure Key Vault, RBAC, Git, Azure DevOps, GitHub Actions, Terraform, Bicep

Rahmenbedingungen:

• Anbindung interner Datenquellen, Systeme und REST-APIs
• Auslesen, Bereinigen und Verarbeiten von Daten mit Python, SQL und Apache Spark/PySpark
• Entwicklung von LLM-Anwendungen zur Auswertung und Bewertung aufbereiteter Daten mit Azure OpenAI
• Umsetzung von RAG-Lösungen einschließlich Embeddings, Vector Search, Tool Calling und KI-Agenten
• Automatisierung von Daten- und KI-Prozessen mit Databricks Workflows
• Überführung von Datenpipelines, Modellen und KI-Anwendungen in den Produktivbetrieb
• Einsatz von MLflow und Mosaic AI für das Management und den Betrieb von KI-Lösungen
• Aufbau und Weiterentwicklung von CI/CD- und MLOps-Prozessen für Versionierung, Tests, Evaluation, Deployment und Monitoring
• Sicherstellung eines nachvollziehbaren und sicheren Betriebs durch Unity Catalog, Azure Key Vault, Managed Identities, RBAC und Private Endpoints
• Implementierung von Logging- und Alerting-Mechanismen
• Eigenständige Übernahme von Verantwortung über den gesamten Entwicklungsprozess hinweg – von der Datenintegration bis zum stabilen Betrieb
• Enge Zusammenarbeit mit technischen und fachlichen Stakeholdern in einem kleinen Entwicklerteam
• Fundierte praktische Erfahrung im Data Engineering mit Azure Databricks, Python, SQL und Apache Spark/PySpark
• Gute Kenntnisse in Delta Lake und Lakehouse-Architekturen
• Erfahrung in der Entwicklung von GenAI- und LLM-Anwendungen mit Azure OpenAI
• Kenntnisse in RAG, Embeddings, Vector Search und strukturierten Ausgaben sowie idealerweise in Tool Calling und agentischen Workflows
• Erfahrung mit Microsoft Azure, insbesondere Azure Data Factory, Azure Functions und Azure Storage/ADLS
• Kenntnisse in Databricks Workflows, MLflow und Mosaic AI
• Erfahrung im Aufbau von CI/CD- und MLOps-Prozessen
• Sicherer Umgang mit Git sowie Azure DevOps oder GitHub Actions
• Kenntnisse in Infrastructure as Code, beispielsweise mit Terraform oder Bicep
• Erfahrung mit Sicherheits- und Governance-Konzepten für produktive Daten- und KI-Anwendungen
• Selbstständige und lösungsorientierte Arbeitsweise sowie Bereitschaft, technische Verantwortung von der Entwicklung bis zum Betrieb zu übernehmen
• Sehr gute Deutschkenntnisse und Erfahrung in der Zusammenarbeit mit technischen und fachlichen Stakeholdern

Project details

2027

Laufzeit: 06 Monate mit Option auf Verlängerung

80%

100% remote

Projektsprache: Deutsch

Sie sind offen für neue Herausforderungen und möchten moderne Datenplattformen mit produktiven KI-Anwendungen verbinden? Dann senden Sie mir Ihren CV als Word-Dokument inklusive Ihres möglichen Startdatums und Stundensatzes an [contact removed].

Wir operieren als Personalberatungsunternehmen. Keine der genannten Fachausdrücke sollen diskriminierend in Hinblick auf Alter oder Erfahrung sein. Wir bestätigen, dass wir alle Bewerbungen von Kandidaten jeden Alters und Erfahrungen gerne entgegennehmen.