Senior Data Engineer, Datenmigration, PostgreSQL, Cloud SQL, BigQuery, Google Cloud, Modernisierung

Project overview

Für anstehende Modernisierungsprojekte im Mittelstand suchen wir erfahrene Data Engineers (m/w/d) für unseren Expertenpool.

Ein typisches Vorhaben sieht so aus:

Ausgangslage

Eine gewachsene Geschäftsanwendung wird modernisiert und auf Google Cloud migriert. Der Datenbestand liegt in einer relationalen Datenbank (z. B. Oracle oder Microsoft SQL Server) mit gewachsenem Schema, Stored Procedures und Altlasten. Ziel ist eine bereinigte Datenhaltung in Cloud SQL for PostgreSQL für die Anwendung, Auswertungen in BigQuery und ein nachvollziehbarer, prüfbarer Umzug der Daten ohne Betriebsunterbrechung. Umsysteme wie ein ERP (z. B. SAP) liefern und beziehen Daten über definierte Schnittstellen.

Responsibilities

Muss

• Bestehendes Datenmodell, Datenqualität und Abhängigkeiten analysieren (Schema, Stored Procedures, Batchläufe, Schnittstellen)
• Zieldatenmodell für PostgreSQL gemeinsam mit Architekten und Backend-Entwicklern entwerfen und Altlasten bereinigen
• Migrationsstrategie festlegen (schrittweise oder in einem Schritt, Database Migration Service, Change Data Capture) und Migrationsskripte bauen
• Datenmigration mit Abgleich, Validierungsregeln und Abnahmeberichten durchführen, inklusive Probeläufen und Rückfallplan
• Datenpipelines für Auswertungen aufbauen (BigQuery, Dataflow, Pub/Sub oder Kafka), Batch und Streaming
• Datenschutz und Datensicherheit umsetzen (Pseudonymisierung von Testdaten, Berechtigungen, Löschkonzepte nach DSGVO)
• Performance und Kosten von Datenbank und Pipelines messen und optimieren
• Datenflüsse und Entscheidungen dokumentieren und an den Betrieb übergeben
• mindestens 5 Jahre Erfahrung als Data Engineer oder Datenbankentwickler, davon mindestens 3 Jahre mit PostgreSQL oder einer vergleichbaren relationalen Datenbank in produktiven Anwendungen
• mindestens eine verantwortete Datenbankmigration zwischen Systemen (z. B. Oracle oder SQL Server nach PostgreSQL) mit Abgleich und Abnahme
• sehr gutes SQL, Datenmodellierung und Erfahrung mit Schemaänderungen im laufenden Betrieb (z. B. Flyway, Liquibase)
• Python oder Java für Migrations- und Pipeline-Code, Versionskontrolle und automatisierte Tests
• Deutsch fließend, Englisch gut

Nice to have

Rahmen

Bewerbung

Bitte beantworten Sie kurz:

Bei E-Mail-Kommunikation bitte die Projekt-ID dieser Anzeige angeben. Telefonische Kontaktaufnahme bitte nur nach vorheriger Terminvereinbarung.

(Data Engineering, Datenmigration, PostgreSQL, SQL, Oracle, Microsoft SQL Server, Google Cloud Platform, BigQuery, Dataflow, Python, ETL, Kafka)

Job facts: Direct client project

• Google Cloud: Cloud SQL, BigQuery, Dataflow, Pub/Sub, Database Migration Service; Zertifizierung Google Professional Data Engineer
• Change Data Capture (z. B. Debezium) und Event-Streaming (Kafka)
• dbt, Airflow oder Cloud Composer, Datenkatalog und Data Governance
• Erfahrung mit ERP-Daten (z. B. SAP-Extrakte, OData)
• Infrastructure as Code (Terraform) und CI/CD für Datenpipelines
• Zusammenarbeit in agilen, verteilten Teams
• Einsatz: überwiegend remote, gelegentliche Termine vor Ort in DACH
• Dauer: typischerweise 4 bis 6 Monate, Verlängerung möglich
• Auslastung: 80 bis 100 Prozent
• Start: projektabhängig, ab Q1 2027
• Welche Datenmigration haben Sie zuletzt maßgeblich verantwortet (Quelle und Ziel, Datenvolumen, Ihre Rolle, Teamgröße)?
• Wie stellen Sie sicher, dass nach der Migration kein Datensatz fehlt oder verfälscht ist?
• Wie hoch ist Ihr Stundensatz und ab wann sind Sie verfügbar?