Geforderte Skills
- GraphStorm
- DGL (Deep Graph Library)
- AWS SageMaker
- Data Engineering
- MLOps Engineering
- Infrastructure as Code
- AWS CloudFormation
- Pulumi
- Data Pipelines
Nice to have:Apache KafkaAWS MSKXGBoostSHAPAI Agent SystemsModel Context Protocol (MCP)LangfusePySparkDelta LakeAWS S3Azure Blob Storage
Sprachen: German
Jobbeschreibung
Project overview
Projektdetails:
Die MUSS- Kriterien, müssen zu 100% erfüllt sein.
Fähigkeiten
Muss-Kriterien
Soll-Kriterien
- Laufzeit: 01.01.27
- 31.12.29
- Auslastung: 660 PT / davon 60 PT Onsite (in Frankfurt am Main)
- Entwicklung und Betrieb skalierbarer Datenpipelines für strukturierte und unstrukturierte Daten mit Python, PySpark, Delta Lake, Parquet und polars/pandas sowie Integration von AWS S3 und Azure Blob Storage
- Konzeption und Umsetzung von ML-Datenprozessen, inkl. Datenaufbereitung, Feature Engineering und Graphkonstruktion aus tabellarischen Daten für Graph Neural Networks (GraphStorm, DGL, PyTorch)
- Aufbau und Weiterentwicklung von Graphdatenbanken auf Basis von Amazon Neptune und Gremlin, inkl. Datenmodellierung, Bulk-Loading großer Datenmengen und Zugriffsoptimierung
- Konzeption, Umsetzung und Optimierung relationaler Datenbanken auf Basis von Amazon Aurora, Amazon RDS und PostgreSQL (Schema-Design, Datenintegration, Query-Optimierung)
- Entwicklung und Betrieb automatisierter Daten- und ML-Pipelines auf AWS SageMaker, inkl. Processing- und Training-Jobs, Hyperparameteroptimierung und Model-Registry-Integration
- Entwicklung und Integration produktiver ML-Komponenten auf Basis von Graph Neural Networks und Gradient Boosting (XGBoost), inkl. Inferenz-Endpunkten und Explainability (SHAP)
- Entwicklung und Integration von Daten- und Inferenzschnittstellen mit AWS Lambda, API Gateway und Step Functions sowie ereignisgesteuerter Verarbeitung über Kafka/MSK
- Automatisierung von Infrastruktur- und Entwicklungsprozessen via Infrastructure as Code (CloudFormation, Pulumi) sowie Implementierung und Pflege von CI/CD-Pipelines in GitLab für Daten- und ML-Anwendungen
- Technische Integration KI-basierter Agentensysteme, inkl. Anbindung externer Systeme (GitLab, ITSM), Model Context Protocol (MCP) sowie Monitoring und Observability mit Langfuse
- Entwicklung von Datenvisualisierungen und Analyse-Dashboards mit Grafana und Plotly zur Prozessüberwachung und Darstellung von Analyse- und Modellergebnissen
- Qualitätssicherung, Performanceoptimierung und technische Dokumentation der Datenarchitekturen, Pipelines und ML-Komponenten unter Einhaltung bestehender Standards, Governance- und Compliance-Vorgaben
- Must-have: Produktive Erfahrung mit GraphStorm oder DGL (Deep Graph Library) einschließlich Graphkonstruktion und Datenverarbeitung
- Nachweis durch Anzahl Referenzen: 1
- Must-have: Produktive Erfahrung mit AWS SageMaker, insbesondere Pipelines, Processing- und Training-Jobs, Model Registry und produktiven Endpoints
- Nachweis durch Erfahrungslevel in Jahren: Intermediate (> 3 Jahre Erfahrung)
- Must-have: Berufserfahrung im Data Engineering und/oder MLOps Engineering mit produktiv betriebenen Daten- und ML-Lösungen.
- Nachweis durch Anzahl Referenzen: 2
- Must-have: Praktische Erfahrung mit Infrastructure as Code unter Einsatz von AWS CloudFormation oder Pulumi
- Must-have: Nachgewiesene Erfahrung in der Entwicklung und dem produktiven Betrieb automatisierter Datenpipelines für strukturierte und unstrukturierte Daten
- Erfahrung mit Event-Streaming und ereignisgesteuerter Datenverarbeitung unter Einsatz von Apache Kafka oder AWS MSK
- Erfahrung mit XGBoost einschließlich Integration in produktive ML-Prozesse
- Erfahrung mit Explainable-Al-Verfahren (SHAP) einschließlich Integration in produktive ML-Prozesse
- Erfahrung mit KI-Agentensystemen, Model Context Protocol (MCP) sowie Integration externer Systeme und Observability (Langfuse)
- Erfahrung mit verteilten Datenverarbeitungsframeworks (PySpark, Delta Lake) sowie Datenintegration über AWS S3 und Azure Blob Storage
Indexiert von der 9am-Meta-Suche. Du bist Job-Anbieter? Listing beanspruchen oder verwalten
Gefunden auf GULP