Senior Azure Databricks Experte / Solution Architect für Aufbau einer Lakehouse-Datenplattform

Project overview

Ausgangslage

Die Data-Abteilung plant den Einsatz von DataBricks (Azure Databricks) und sucht dafür eine erfahrene DataBricks-Expertin bzw. einen erfahrenen DataBricks-Experten auf Freelance-Basis, um die initiale Lernphase zu verkürzen und von Anfang an eine passende Infrastruktur aufzubauen.

Aufgaben und Ergebnisse (Deliverables)

Aufgabe: Analyse der bestehenden Datenprozesse der Data-Abteilung (Datenquellen, aktuelle Tools/Architektur, Workflows, Pain Points) und Ableitung der fachlichen und technischen Anforderungen an den DataBricks-Einsatz. Die Datenlandschaft wird künftig deutlich diverser – genau das hat die Entscheidung für DataBricks motiviert. Die Analyse berücksichtigt daher auch bereits absehbare zukünftige Datenquellen und Prozesse.

Ergebnis: Ein Anforderungsdokument, das als gemeinsam abgestimmte Grundlage für die weitere Umsetzung dient (u. a. funktionale/nicht-funktionale Anforderungen, Priorisierung, Abgrenzung).

Aufgabe: Entwicklung eines Umsetzungsvorschlags für die DataBricks-seitigen Anforderungen (u. a. Workspace-Architektur, Unity Catalog / Governance, Cluster- bzw. Compute-Strategie, CI/CD-Ansatz, Kostenmodell) in enger Zusammenarbeit mit den internen DevOps Engineers. Alle Infrastruktur-Themen werden durch die DevOps Engineers begleitet und umgesetzt; sie benötigen dafür fundierte Aussagen zur DataBricks-Architektur und zu den daraus resultierenden Anforderungen an die Infrastruktur.

Ergebnis: Ein Design- bzw. Architekturvorschlag, der als Vorlage für das tatsächliche Aufsetzen der Infrastruktur durch die internen DevOps Engineers genutzt werden kann.

Aufgabe: Gemeinsame, prototypische Umsetzung von 1–2 fachlich herausfordernden End-to-End-Use-Cases als Referenzimplementierung auf Basis von Azure Databricks. Die Umsetzung erfolgt in enger Zusammenarbeit mit dem internen Team und dient ausdrücklich dem Aufbau von Know-how und der Befähigung des Teams zur eigenständigen Umsetzung zukünftiger Anwendungsfälle.

Die Referenzimplementierungen sollen den vollständigen Datenlebenszyklus abbilden, von der Datenaufnahme und -verarbeitung bis zur Bereitstellung für nachgelagerte Anwendungsfälle, beispielsweise Analytics-/BI-Lösungen, ML-Workloads, Feature Stores oder andere Serving-Endpunkte.

Der Freelancer übernimmt dabei die Rolle eines erfahrenen Architekten, Coaches und technischen Sparringspartners. Wesentliche Architektur- und Implementierungsentscheidungen werden gemeinsam mit dem internen Team erarbeitet. Für relevante technische Entscheidungen sind Alternativen, Vor- und Nachteile sowie die jeweilige Empfehlung nachvollziehbar darzustellen.

Der Schwerpunkt liegt auf dem Wissenstransfer und der Vermittlung praxiserprobter Vorgehensweisen, nicht auf einer isolierten Umsetzung durch den Freelancer

Fähigkeiten

Azure Databricks, Databricks, PySpark, Apache Spark, Delta Lake, Databricks SQL, Unity Catalog, Azure Data Lake Storage Gen2, Lakehouse Architecture, Data Engineering, Data Platfor

• Ist-Analyse & Anforderungskatalog
• Umsetzungs- und Architekturvorschlag
• Prototypische Umsetzung