Databricks Consultant / Engineer (m/w/d) – Energy & Utilities | Freelance

Project overview

Projekt: Aufbau & Weiterentwicklung einer Databricks-basierten Datenplattform

Über das Projekt

Für einen unserer Kunden aus dem deutschen Energie- und Versorgungsumfeld suchen wir aktuell einen erfahrenen Databricks Consultant / Engineer (m/w/d) zur Unterstützung eines laufenden Data-Platform-Programms.

Im Zuge der Modernisierung der Datenlandschaft werden unterschiedliche operative und energiewirtschaftliche Datenquellen auf einer zentralen Databricks Lakehouse Platform zusammengeführt und für Analytics-, Forecasting- und weitere datengetriebene Anwendungsfälle bereitgestellt.

Gesucht wird ausdrücklich kein rein konzeptioneller Berater, sondern ein Freelancer, der bereits produktive Databricks-Umgebungen aufgebaut hat und sowohl Architekturverständnis als auch Hands-on-Erfahrung im Data Engineering mitbringt.

Deine Aufgaben

Die Kombination aus Lakehouse, Delta Lake, Spark und Unity Catalog entspricht auch typischen produktiven Databricks-Architekturen; Databricks beschreibt für Energy & Resources unter anderem Bronze-, Silver- und Gold-Schichten sowie die Bereitstellung über Unity Catalog.

Dein Profil

Projektumfeld

Im Mittelpunkt steht nicht klassisches BI-Reporting, sondern der Aufbau einer belastbaren Datenbasis für operative und analytische Use Cases im Energieumfeld.

Denkbare Daten- und Use-Case-Bereiche umfassen beispielsweise Asset Performance, Forecasting, Netzdaten und operative Energiedaten. Diese Anwendungsfelder passen auch zur internen Ausrichtung eures Energy Data & AI Marktes. Databricks selbst positioniert seine Energy-Plattform unter anderem für Asset Monitoring, Forecasting sowie die Verbindung von Betriebs-, Anlagen- und Netzdaten.

Besonders interessant sind daher Freelancer, die eine Databricks-Plattform bereits von Architektur und Datenintegration bis zur produktiven Umsetzung begleitet haben.

• Aufbau und Weiterentwicklung einer Databricks Lakehouse Architektur
• Entwicklung skalierbarer ETL-/ELT-Datenpipelines
• Verarbeitung und Transformation größerer Datenmengen mit Apache Spark / PySpark
• Aufbau und Optimierung von Datenmodellen auf Basis von Delta Lake
• Umsetzung von Medallion-Architekturen (Bronze / Silver / Gold)
• Integration unterschiedlicher Quellsysteme in die zentrale Datenplattform
• Implementierung von Governance-, Berechtigungs- und Lineage-Konzepten mit Unity Catalog
• Performance-Optimierung bestehender Databricks Workloads und Pipelines
• Zusammenarbeit mit Data Architects, Data Engineers sowie Analytics- und Fachbereichen
• Unterstützung dabei, bestehende Datenprozesse in eine skalierbare Databricks-Zielarchitektur zu überführen
• Mehrjährige Projekterfahrung als Databricks Consultant, Databricks Engineer, Senior Data Engineer oder Data Platform Engineer
• Nachweisbare Erfahrung mit produktiven Databricks-Projekten
• Sehr gute Kenntnisse in Apache Spark / PySpark
• Fundierte Erfahrung mit SQL und Python
• Erfahrung mit Delta Lake und modernen Lakehouse-Architekturen
• Erfahrung mit Unity Catalog
• Sicherer Umgang mit ETL-/ELT-Prozessen und komplexen Datenpipelines
• Erfahrung mit einer Cloud-Plattform, idealerweise Microsoft Azure
• Kenntnisse in CI/CD und automatisiertem Deployment von Data Workloads von Vorteil
• Idealerweise Erfahrung im Energy-, Utilities-, Grid- oder Energy-Trading-Umfeld