Senior LLM Solution Architect (m/w/d)

Project overview

Für einen international tätigen Kunden suchen wir einen erfahrenen Senior LLM Solution Architect (m/w/d) zur Konzeption und Einführung einer unternehmensweiten LLM-Plattform.

Ziel des Projekts ist der Aufbau einer sicheren und kontrollierten Umgebung für die Nutzung von Large Language Models innerhalb des Unternehmens. Dabei sollen Unternehmensdaten aus Microsoft sowie ERP-Systemen angebunden und für ausgewählte Anwendungsfälle nutzbar gemacht werden.

Im Fokus stehen neben der technischen Architektur insbesondere Datenschutz, Zugriffskonzepte und Security-Anforderungen.

Responsibilities

AnforderungenMust-have

• Entwicklung einer Zielarchitektur für den Einsatz von Large Language Models
• Beratung bei der Auswahl geeigneter Technologien und Plattformen
• Konzeption der Anbindung von Microsoft
• und ERP-Datenquellen
• Definition von Sicherheits-, Rollen- und Berechtigungskonzepten
• Bewertung von Risiken hinsichtlich Datenschutz, Compliance und Informationssicherheit
• Entwicklung einer skalierbaren Architektur für spätere Produktivnutzung
• Durchführung von Workshops mit Fachbereichen und IT
• Erfahrung im Bereich Large Language Models (LLM)
• Erfahrung bei Aufbau oder Einführung interner KI- bzw. LLM-Plattformen
• Erfahrung mit Enterprise-Architekturen
• Kenntnisse in Datenintegration und API-basierten Schnittstellen
• Erfahrung mit Microsoft-Umgebungen
• Erfahrung in der Anbindung von ERP-Systemen
• Erfahrung im Stakeholder Management

Nice to have

Soft Skills

• Azure OpenAI
• Microsoft AI Foundry
• Microsoft Copilot Studio
• SAP BTP
• RAG-Architekturen (Retrieval Augmented Generation)
• Vektor-Datenbanken
• Kubernetes / Containerplattformen
• AI Governance
• Kommunikationsstark
• Hands-on Mentalität
• Erfahrung in der Begleitung von Veränderungsprozessen
• Strukturierte und pragmatische Arbeitsweise