Python / AI Data Engineer – Web Scraping, LLM & Databricks | Remote - NEARSHORE

Project overview

Ihr Ansprechpartner zu dieser Anfrage

Kerstin Ufer

Tel.: [contact removed]

E-Mail: [contact removed]

für nachfolgende Tätigkeit suchen wir 1 Bewerber mit folgenden Qualifikationen - vielleicht wären Sie dafür verfügbar oder können eine Empfehlung aussprechen:

Mit der Nutzung der männlichen Form des Wortes „Berater / Entwickler etc.“ sind alle Geschlechtsformen weiblich/männlich/divers gemeint

Mit dieser Anfrage suchen wir einen Python / AI Data Engineer – Web Scraping, LLM & Databricks

ABGABEFRIST FÜR ANGEBOTE: 28.10.2026 - 10:00 Uhr

ACHTUNG: Wir dürfen hierzu nur NEARSHORE (EU-Bürger) anbieten!

Tätigkeit:

Projektziel

Konzeption, Entwicklung und Implementierung einer Lösung zur automatisierten Recherche, Extraktion, Strukturierung und Bereitstellung technischer Assetdaten aus öffentlich zugänglichen Internetquellen, insbesondere aus:

Ziel ist der Aufbau strukturierter Produkt- und Typenkataloge mit Herstellern, Typenbezeichnungen und technischen Merkmalen. Die Ergebnisse sind als CSV-Dateien bereitzustellen, sodass sie fachlich geprüft und zur Befüllung der bestehenden EAM-Struktur weiterverarbeitet werden können.

Leistungsumfang

Der Auftragnehmer identifiziert und bewertet geeignete Quellen hinsichtlich:

Entwicklung einer technischen Zielarchitektur für:

Entwicklung und Parametrisierung modularer Komponenten zur Quellenermittlung, Datenerhebung, Extraktion, Zuordnung und Normalisierung von Herstellern, Produktreihen, Typen und technischen Merkmalen. Unterschiedliche Webseitenstrukturen und Dokumentformate sind über erweiterbare Konnektoren und Parser zu berücksichtigen.

Transformation der extrahierten Informationen in:

Implementierung von Verfahren und einer Databricks App zur:

Durchführung eines Piloten für ausgewählte Assetklassen, Hersteller und Webquellen. Die konkrete Auswahl wird im Projekt gemeinsam festgelegt.

Ergebnis:

Erstellung von:

Pflichtkompetenzen

Web-Crawling & Web-Scraping

Information Extraction & Generative AI

Schnittstellen- und Dokumentenverarbeitung

Data Engineering & Databricks

Wünschenswerte Zusatzkompetenzen

• Hersteller-Webseiten und digitalen Produktkatalogen
• Online-Verzeichnissen, Portalen und Datenbanken
• Veröffentlichungen von Fach- und Ingenieursverbänden
• technischen Datenblättern und weiteren produktbezogenen Web-Dokumenten
• Analyse und Erschließung geeigneter Webquellen
• Relevanz für definierte Assetklassen und Betriebsmitteltypen
• Informationsgehalt und Abdeckung technischer Merkmale
• Datenqualität, Aktualität und Nachvollziehbarkeit
• Strukturierungsgrad der Inhalte und verfügbaren Schnittstellen
• Hersteller-, Produkt- und Typenabdeckung
• Zugriffsbedingungen und technische Abrufbarkeit
• HTML-, Tabellen-, PDF- und Downloadstrukturen
• rechtlicher und technischer Rahmenbedingungen für die Datenerhebung
• Konzeption der Crawling- und Extraktionslösung
• Web-Crawling und Web-Scraping
• API- und Download-Schnittstellen
• Extraktion aus HTML-Seiten, Tabellen und technischen Dokumenten
• KI-gestützte Informationsextraktion und Normalisierung
• Regelwerke zur Datenvalidierung und Dublettenerkennung
• Nachvollziehbarkeit der Quellen und Qualitätsprüfungen
• Entwicklung der Crawling-, Extraktions- und KI-Komponenten
• Datenstrukturierung und Bereitstellung
• fachlich definierte Asset-, Hersteller-, Produkt- und Typenobjekte
• auf die bestehende EAM-Struktur abbildbare Merkmalsstrukturen
• standardisierte CSV-Dateien
• nachvollziehbare Datensätze mit Angabe der jeweiligen Quelle
• Qualitätssicherung und fachliche Validierung
• Vollständigkeits- und Plausibilitätsprüfung
• fachlichen Validierung von Herstellern, Typen und technischen Merkmalen durch Elektrotechniker
• Bewertung der Extraktionssicherheit und Kennzeichnung unsicherer Werte
• Korrektur, Freigabe und Fehlerklassifikation durch den Fachanwender
• Pilotierung
• Nachweis der technischen und fachlichen Eignung der Lösung
• Messung der Extraktions- und Validierungsqualität
• Identifikation von Optimierungspotenzialen und Skalierungsbedarfen
• Dokumentation und Übergabe
• technischer Dokumentation der Crawler, Konnektoren und Extraktionslogik
• Betriebs- und Konfigurationsdokumentation
• Architekturübersicht einschließlich Databricks App
• Datenmodell- und CSV-Schnittstellenbeschreibung
• Übergabedokumentation einschließlich Quellcode und Deployment-Konfiguration
• Erfahrung mit Scrapy, Beautiful Soup oder vergleichbaren Frameworks
• HTML-, DOM- und Tabellenanalyse
• Umgang mit dynamischen Webseiten und Downloadstrukturen
• Entwicklung robuster, erweiterbarer Crawler und Parser
• Large Language Models und Natural Language Processing
• Prompt Engineering und strukturierte Ausgabeformate
• Extraktion und Normalisierung technischer Merkmale
• Klassifikation, Mapping und Dublettenerkennung
• REST-APIs und dateibasierte Datenquellen
• PDF- und Datenblattextraktion
• Tabellenextraktion und Schema-Mapping
• Quellen- und Metadatenmanagement
• Fehlerbehandlung und Monitoring von Extraktionsläufen
• Python
• Pandas und PySpark
• Databricks, Delta Lake und Entwicklung von Databricks Apps
• MLOps und CI/CD für Daten- und KI-Komponenten
• Datenschutz- und rechtskonforme Gestaltung von Crawling-Lösungen
• Selenium, Playwright oder vergleichbare Browserautomatisierung
• Azure-Dienste und Databricks-Deployment
• Erfahrung mit Produkt-, Asset- oder Typenkatalogen
• Ontologien, semantische Modelle und technische Merkmalskataloge
• EAM- und SAP-Attributmodelle
• Elektrotechnisches Domänenverständnis

Project details

280 Stunden Remote

Honorar:

max. € 60,00 / Std. .bei Remote

Zahlungsziel:

30 Tage

Sonstiges

Beginn

01.11.2026

Laufzeit / Ende

31.12.2026

Ort

Beginn / Ende

01.11.2026 - 31.12.2026

Bitte benennen Sie uns Ihren Stundensatz auf All In Basis

Wenn Sie uns ein qualifiziertes Angebot zu dieser Anfrage unterbreiten können, senden Sie uns bitte ein aussagekräftiges Profil zu, inkl. einer konkreten Aussage zur Verfügbarkeit und den Konditionen. Bitte beachten Sie, daß wir Ihre uns überlassenen Daten ausschließlich zweckgebunden nach §5 BDSG zur Vermittlung von Projekteinsätzen verwenden. Eine Weitergabe an Dritte im Rahmen dieses Zweckes erfolgt nur nach Einholung Ihrer Zustimmung. Vielen Dank schon jetzt für Ihre Unterstützung.