Geforderte Skills
- Prompt Engineering
- AI Agents
- LLM Applications
- System Instructions
- Context Management
- Few-Shot Prompting
- Tool Calling
- Retrieval
- JSON Schemas
- API Analysis
- Quality Assurance
- English
Sprachen: German
Jobbeschreibung
Projektbeschreibung
Project overview
Für eine AI Platform suchen wir einen erfahrenen externen Prompt Engineer (w/m/x). Im Fokus steht die Weiterentwicklung von KI-Agenten für eine dialogbasierte Banking-Funktion in der Kunden-App sowie für weitere Anwendungsfälle. Ziel ist es, durch systematisches Prompt Engineering, Agentenkonfiguration und Evaluierung die Zuverlässigkeit und Qualität der Antworten messbar zu verbessern.
Responsibilities
Entwicklung und Optimierung von System-Prompts, Agentenanweisungen und wiederverwendbaren Prompt-Komponenten
Konfiguration von Tool-Nutzung, Wissenszugriff, Routing und Übergaben
Definition des Agentenverhaltens bei fehlenden Informationen und mehrdeutigen Anfragen
Erstellung von Evaluierungsdatensätzen, Bewertungskriterien und Regressionstests
Fehleranalyse anhand von API-Anfragen, Tool-Ergebnissen und Gesprächsverläufen
Durchführung und Dokumentation reproduzierbarer Tests sowie messbarer Vorher-Nachher-Vergleiche
Enge Zusammenarbeit mit Engineering-, Evaluierungs-, Produkt- und Banking-Fachteams
Must-have-Anforderungen
Praktische Erfahrung im Prompt Engineering für LLM-Anwendungen sowie in der Konfiguration von KI-Agenten
Erfahrung mit systematischer Evaluierung über einzelne Testbeispiele hinaus
Kenntnisse in System Instructions, Context Management, Few-Shot Prompting, Tool Calling und Retrieval
Erfahrung mit strukturierten Ausgaben und JSON-Schemas
Fähigkeit zur Analyse technischer Abläufe und zur nachvollziehbaren Dokumentation von Experimenten
Strukturierte Arbeitsweise bei Fehlerdiagnose, Optimierung und Qualitätssicherung
Professionelle Englischkenntnisse
Nice-to-have-Anforderungen
Python-Scripting und Git
Automatisierte Evaluierungsframeworks und LLM Judges
LangChain, LangGraph oder vergleichbare Agentenframeworks
Erfahrung mit LLM-Anwendungen im Produktivbetrieb
Erfahrung im Banking, in regulierten Branchen oder im Enterprise-Umfeld
Erfahrung mit dem Testen mehrsprachiger Anwendungen
Bewerbung / Angebot
Bitte Lebenslauf, Verfügbarkeit, mögliche Auslastung und Konditionen (Reisekosten werden nicht erstattet) übermitteln. Zusätzlich werden konkrete Projektbeispiele mit Angaben zur eigenen Rolle und zu messbaren Verbesserungen erwartet. Bitte Produktiverfahrung klar von Prototypen unterscheiden.
Indexiert von der 9am-Meta-Suche. Du bist Job-Anbieter? Listing beanspruchen oder verwalten
Gefunden auf FreelancerMap AT