Geforderte Skills
- GraphStorm
- Deep Graph Library (DGL)
- AWS SageMaker
- AWS CloudFormation
- Pulumi
- Python
- Graph Neural Networks
- Amazon Neptune
- Gremlin
- MLOps
- PyTorch
- Data Integration
Sprachen: German · English
Jobbeschreibung
Start: 01.01.2027
Nice to have
- Erfahrung mit Event-Streaming und ereignisgesteuerter Datenverarbeitung unter Einsatz von Apache Kafka oder AWS MSK
- Erfahrung mit XGBoost einschließlich Integration in produktive ML-Prozesse
- Erfahrung mit Explainable-AI-Verfahren (SHAP) einschließlich Integration in produktive ML-Prozesse
- Erfahrung mit KI-Agentensystemen, Model Context Protocol (MCP) sowie Integration externer Systeme und Observability (Langfuse)
- Erfahrung mit verteilten Datenverarbeitungsframeworks (PySpark, Delta Lake) sowie Datenintegration über AWS S3 und Azure Blob Storage
Project details
01.01.2027
Ende: 31.12.2029
Umfang: 220 PT
Ort: Remote & Frankfurt am Main (30 PT onsite)
Projektsprache: Englisch
Branche: Transport & Logistics
Ein Unternehmen aus der Transportbranche entwickelt und betreibt im Rahmen der Digitalisierung innovative Machine-Learning- und KI-Lösungen. Zentrale Anwendungsfelder sind die Betrugserkennung im Online-Vertrieb sowie die Optimierung operativer Prüfprozesse. Ziel des Projekts ist die Entwicklung, Produktivsetzung und kontinuierliche Optimierung skalierbarer KI-/ML-Modelle. Schwerpunkte bilden Graph Neural Networks, Gradient-Boosting-Verfahren, automatisierte Datenverarbeitung sowie der Aufbau und Betrieb leistungsfähiger MLOps- und Cloud-Infrastrukturen auf AWS.
Die Lösungen sollen einen zuverlässigen, nachvollziehbaren und effizienten Produktivbetrieb unter Berücksichtigung bestehender Governance- und Compliance-Anforderungen gewährleisten.
Aufgabenbeschreibung:
MUSS-Anforderungen: (zwingend zu erfüllen)
- Entwicklung und Betrieb skalierbarer Datenpipelines zur Verarbeitung strukturierter und unstrukturierter Daten unter Einsatz von Python, PySpark, Delta Lake, Parquet und polars/pandas sowie Integration von Datenquellen über AWS S3 und Azure Blob Storage.
- Konzeption und Implementierung von Datenverarbeitungsprozessen für Machine Learning, einschließlich Datenaufbereitung, Feature Engineering und Graphkonstruktion aus tabellarischen Daten für Graph-Neural-Network-Modelle (GraphStorm, DGL, PyTorch).
- Aufbau und Weiterentwicklung von Graphdatenbanken auf Basis von Amazon Neptune und Gremlin, einschließlich Datenmodellierung, Bulk-Loading großer Datenbestände und Optimierung von Datenzugriffen.
- Konzeption, Implementierung und Optimierung relationaler Datenbanklösungen auf Basis von Amazon Aurora, Amazon RDS und PostgreSQL, einschließlich Schema-Design, Datenintegration und Query-Optimierung.
- Entwicklung und Betrieb automatisierter Datenverarbeitungs- und ML-Pipelines auf AWS SageMaker, einschließlich Processing- und Training-Jobs, Hyperparameteroptimierung sowie Integration von Modellartefakten in die Model Registry.
- Entwicklung und technische Integration produktiver ML-Komponenten auf Basis von Graph Neural Networks und Gradient Boosting (XGBoost), einschließlich Integration von Inferenz-Endpunkten und Implementierung von Explainability-Verfahren (SHAP).
- Entwicklung und Integration von Daten- und Inferenzschnittstellen unter Einsatz von AWS Lambda, API Gateway und Step Functions sowie Implementierung ereignisgesteuerter Datenverarbeitung über Kafka/MSK.
- Automatisierung datenbezogener Infrastruktur- und Entwicklungsprozesse mittels Infrastructure as Code (CloudFormation, Pulumi) sowie Implementierung und Pflege von CI/CD-Komponenten in GitLab für Datenpipelines und ML-Anwendungen
- Technische Integration KI-basierter Agentensysteme, einschließlich Datenanbindung externer Systeme (GitLab, ITSM), Integration des Model Context Protocol (MCP) sowie Anbindung an Monitoring- und Observability-Lösungen mittels Langfuse.
- Entwicklung von Datenvisualisierungen und Analyse-Dashboards auf Basis von Grafana und Plotly zur Überwachung von Datenverarbeitungsprozessen und Darstellung relevanter Analyse- und Modellergebnisse.
- Qualitätssicherung, Performanceoptimierung und technische Dokumentation der entwickelten Datenarchitekturen, Datenpipelines und ML-Komponenten unter Berücksichtigung bestehender Entwicklungsstandards sowie Governance- und Compliance-Anforderungen.
- Produktive Erfahrung mit GraphStorm oder DGL (Deep Graph Library) einschließlich Graphkonstruktion und Datenverarbeitung
- Produktive Erfahrung mit AWS SageMaker, insbesondere Pipelines, Processing- und Training-Jobs, Model Registry und produktiven Endpoints Erfahrungslevel in Jahren Intermediate (> 3 Jahre Erfahrung)
- Berufserfahrung im Data Engineering und/oder MLOps Engineering mit produktiv betriebenen Daten- und ML-Lösungen (in 2 Projekten)
- Praktische Erfahrung mit Infrastructure as Code unter Einsatz von AWS CloudFormation oder Pulumi
- Nachgewiesene Erfahrung in der Entwicklung und dem produktiven Betrieb automatisierter Datenpipelines für strukturierte und unstrukturierte Daten
Indexiert von der 9am-Meta-Suche. Du bist Job-Anbieter? Listing beanspruchen oder verwalten
Gefunden auf FreelancerMap DE