Skip to content
Job boardOpen

Data Engineer (Spark )

Upvanta · Remote, Poland · Remote · SENIOR

  • Remote, Poland · Remote
  • Polish

Indexed (2 days ago) · refreshed constantly

Budget
zł 150–163 / h
Start
ASAP
Work mode
Remote
Contract
Freelance / B2B
Seniority
SENIOR
Reference
XT5CPH7Z

Required skills

Nice to have:GrafanaJiraConfluenceSparkDelta LakeApache HudiDockerKubernetesSpark OperatorOpenTelemetry

Languages: Polish

Job description

Project overview

Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).

Dołącz do projektu!

Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!

  • Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL.
  • Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych.
  • Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii.
  • Generowanie raportów i alertów dotyczących niezgodności danych.
  • Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
  • Implementacja procesów odczytu i zapisu danych.
  • Optymalizacja operacji odczytu, m.in. poprzez partitioning, predicate push-down i schema-aware reads.
  • Projektowanie i rozwój warstw danych Raw, Bronze, Silver i Gold.
  • Implementacja rozwiązań opartych na Apache Iceberg, Delta Lake lub Apache Hudi.
  • Zarządzanie tabelami wersjonowanymi oraz optymalizacja operacji zapisu i aktualizacji danych (upsert/merge).
  • Wdrażanie CI/CD dla schematów tabel, migracji i wersjonowania.
  • Tuning procesów Apache Spark, w tym partitioning, caching, broadcast joins i Adaptive Query Execution.
  • Optymalizacja zapytań oraz kosztów przetwarzania danych w środowisku Data Lakehouse.
  • Konfiguracja monitoringu i metryk z wykorzystaniem Prometheus i Grafana.
  • Integracja logowania i distributed tracing z wykorzystaniem OpenTelemetry lub Dynatrace.
  • Definiowanie SLA/SLO oraz alertów dotyczących świeżości danych i poprawności realizacji zadań.
  • Automatyzacja wdrożeń aplikacji Spark z wykorzystaniem Docker, Kubernetes i Spark Operator.
  • Diagnozowanie problemów związanych z jakością danych, opóźnieniami i niezgodnościami.
  • Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
  • Współpraca z Data Engineerami, Business Analystami, testerami i zespołem DevOps.
  • Udział w pracach prowadzonych w metodykach Scrum/Kanban.
  • Prowadzenie code review oraz warsztatów technicznych.

Requirements

Mile widziane

  • Minimum 6 lata doświadczenia komercyjnego w pracy z Apache Spark oraz środowiskach produkcyjnych. Mile widziane doświadczenie bankowe.
  • Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
  • Praktyczne doświadczenie w integracji Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
  • Znajomość modelowania dokumentowego oraz indeksowania w MongoDB.
  • Doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
  • Praktyczna znajomość języka Python.
  • Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
  • Znajomość narzędzi Prometheus i Grafana.
  • Doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
  • Znajomość Jira i Confluence.
  • Doświadczenie z Delta Lake lub Apache Hudi.
  • Znajomość Docker i Kubernetes oraz Spark Operator.
  • Praktyczna znajomość OpenTelemetry lub Dynatrace.
  • Doświadczenie w projektowaniu rozwiązań monitorowania procesów batch i streaming.
  • Znajomość zagadnień Data Quality, Data Observability i zarządzania cyklem życia danych.

Project details

  • Start: ASAP
  • Remote: remote
  • Location: Remote, PL
  • Rate: 150-163 EUR/h
  • Languages: Polish

Indexed by 9am's meta-search. You are a job provider? Claim or manage this listing

Found on nofluffjobs.com

  1. Job boardNew

    AWS Data Engineer

    Confidential· India· On-site· Senior

    • AWS
    • Amazon S3
    • AWS Glue
    • +9

Browse all jobs
Sign up free to apply