Senior Data Engineer (m/w/d)

Project overview

Wir suchen einen Senior Data Engineer für den Entwurf und die Bereitstellung einer produktionsreifen Databricks-Überwachungslösung für grenzüberschreitende Strombörsen unter Verwendung bestehender Datenquellen zur Unterstützung von automatisierter Analyse, Qualitätsprüfungen, KPI-Berechnung, Dashboards und Alarmierung

Weitere Rahmendaten

Einsatzart:

Project details

50 %

Branche: Other

Ihre Aufgaben

Muss-Anforderungen

Kann-Anforderungen

Let’s power the future together

Vom Business Case bis hin zur Umsetzung: Als führendes Beratungsunternehmen für strategische Transformationen sind wir vertrauenswürdiger Partner für unsere Kunden - und für unsere Mitarbeitenden. Verantwortungsvoll, leistungsstark und immer mit dem Menschen im Fokus. #WeAreWavestone

Mit unserem 360°-Portfolio an Beratungsleistungen verbinden wir erstklassige Branchenexpertise mit einem breiten Spektrum an branchenübergreifenden Kompetenzen, arbeiten interdisziplinär und denken über den Tellerrand hinaus. Unseren Partnerunternehmen und Freelancern:Freelancerinnen können wir so umfassende Perspektiven innerhalb unserer eigenen Projekte bieten und unterstützen als langjähriger Rahmenvertragspartner bei der Besetzung von Projektvakanzen – zeitnah und direkt.

Wir freuen uns auf Ihre Kontaktaufnahme!

Ihr direkter Ansprechpartner bei Wavestone

Elma Abdagic

Telefon: *

E-Mail: *@*.eu

• Verfügbare Datenquellen, Datenprodukte, technische Schnittstellen, bestehende Datenstrukturen und Datenflüsse analysieren und für das fachliche und technische Monitoring anpassen
• Entwurf einer Zielarchitektur für die Überwachungslösung unter Verwendung von Databricks und bestehenden Datenquellen
• KPIs, Schwellenwerte und Überwachungslogik zur Identifizierung unbeabsichtigter Stromflüsse definieren
• Implementierung automatisierter KPI-Berechnungen und Validierungsmechanismen zur Erkennung von Anomalien, Datenqualitätsproblemen, Übertragungsfehlern sowie fehlenden oder fehlerhaften Datenlieferungen
• Entwicklung von Überwachungs-Dashboards, Analyseergebnissen und zugehörigen Artefakten für den operativen und analytischen Einsatz
• Implementierung von Überwachungs- und Alarmsystemen für Abweichungen, Probleme bei der Datenverfügbarkeit und Fehlerbedingungen
• Dokumentieren von Datenmodellen, Verarbeitungslogik, technischen Schnittstellen und Betriebsabläufen
• Durchführen von Tests und Erstellen von Testdokumentation, Abnahmenachweisen und Produktionsbereitstellungsartefakten; Übergeben einer produktionsreifen, nachvollziehbaren und wartbaren Lösung einschließlich Quellcode, Konfigurationen und Dokumentation
• Mindestens 3 Jahre relevante praktische Erfahrung im Data Engineering, einschließlich Erfahrung in der Entwicklung von Databricks-basierten Datenlösungen
• Sehr gute Kenntnisse in Apache Spark, Spark SQL und Konzepten der verteilten Datenverarbeitung
• Sehr gute Python-Programmierkenntnisse
• Umfangreiche SQL-Erfahrung, einschließlich der Optimierung komplexer Abfragen
• Nachgewiesene Kenntnisse moderner Data-Lake- und Lakehouse-Architekturen
• Nachgewiesene Erfahrung in der Verarbeitung großer Datenmengen, einschließlich sekundengenauer Zeitreihen, sowie in der Optimierung der Leistung von Datenverarbeitungs-Workflows
• Nachweisbare Erfahrung in der Entwicklung von Überwachungs- und Berichterstattungsartefakten, Dashboards und Analytikanwendungen, einschließlich Dashboard-Design
• Deutschkenntnisse C1-Level
• Erfahrung mit Konzepten für operatives Monitoring und Alerting in Databricks-Umgebungen
• Erfahrung in der Dokumentation von Datenmodellen, technischen Schnittstellen, Verarbeitungslogiken und Betriebsabläufen
• Erfahrung in der Durchführung von Testaktivitäten sowie in der Erstellung von Abnahmedokumentationen und Produktionsbereitstellungsliefergegenständen für Datenlösungen
• Erfahrung im Energiesektor oder mit Zeitreihendaten aus Energiesystemprozessen
• Erfahrung im Umgang mit Zeitkonventionen, einschließlich UTC, Ortszeit und Sommerzeitumstellungen