Skip to content
Job boardOpen

Data Engineer GCP

Square One Resources · Remote, Gdynia, Warsaw, Cracow, Poznan, Wrocław, Poland · Hybrid · Senior

  • Remote, Gdynia, Warsaw, Cracow, Poznan, Wrocław, Poland · Hybrid
  • English · Polish

Indexed (today) · refreshed constantly

Budget
zł 120–130 / h
Start
ASAP
Work mode
Hybrid
Contract
Freelance / B2B
Seniority
Senior
Reference
VF84CRNF

Required skills

Nice to have:Bash scriptData GovernanceMetadata ManagementReal-Time Data ProcessingCI/CD

Languages: English · Polish

Job description

Project overview

Opis projektu

Projekt realizowany dla operatora telekomunikacyjnego, którego celem jest migracja Hurtowni Danych opartej na technologii Oracle do środowiska Google Cloud Platform (GCP).

-

Lokalizacja: hybrydowo – 3 dni pracy z biura w Warszawie lub w pełni zdalnie w przypadku kandydatów spoza Warszawy.

Stawka: 120-130 zł/h B2B

Proces rekrutacyjny: screeening, rozmowa rekrutacyjna, rozmowa z klientem.

  • Budowa i utrzymanie procesów pobierania danych z róznych zródel do Data Lake.
  • Projektowanie, rozwój i optymalizacja zlozonych potoków danych zapewniajacych niezawodny przeplyw danych.
  • Tworzenie, rozwój i utrzymanie frameworków ulatwiajacych budowe potoków danych.
  • Wdrazanie kompleksowych frameworków testowych dla potoków danych.
  • Wspólpraca z analitykami i naukowcami danych w celu zapewnienia dostarczania wysokiej jakosci danych.
  • Zapewnienie solidnych praktyk w zakresie zarzadzania danymi, bezpieczenstwa i zgodnosci.
  • Badanie i wdrazanie nowych technologii w celu poprawy wydajnosci potoków danych.
  • Wykorzystanie i integracja danych z róznych typów systemów zródlowych, w tym Kafka, MQ, SFTP, bazy danych, API oraz udzialy plików.

Requirements

  • Bardzo dobra znajomość platformy Google Cloud Platform (GCP) oraz usług chmurowych.
  • Znajomość narzędzia dbt (Data Build Tool).
  • Doświadczenie na stanowisku Data Analyst lub Data Quality Analyst w organizacji opartej na danych.
  • Bardzo dobra znajomość SQL i PL/SQL, w tym zaawansowanych zapytań bazodanowych.
  • Praktyczna znajomość języka Python.
  • Doświadczenie w zarządzaniu jakością danych (Data Quality Management) oraz stosowaniu zasad Data Governance.
  • Znajomość środowiska Linux oraz skryptowania w Bash.
  • Dobra znajomość ekosystemu Cloudera Hadoop, w tym Apache Spark i Apache Kafka.
  • Znajomość procesów przetwarzania danych, w szczególności ETL oraz przetwarzania danych w czasie rzeczywistym (Real-Time Data Processing).
  • Wykształcenie wyższe (licencjackie lub magisterskie) na kierunku informatyka, analiza danych, statystyka, ekonomia lub pokrewnym.
  • Znajomość języka angielskiego na poziomie minimum B2.

Nice to have

  • Doświadczenie w pracy z procesami CI/CD oraz narzędziami automatyzującymi.
  • Dobra znajomość zagadnień związanych z Data Governance, w tym zarządzania metadanymi (Metadata Management) oraz frameworkami zapewniania jakości danych.
  • Doświadczenie w pracy z różnymi typami systemów źródłowych, takimi jak Kafka, MQ, SFTP, bazy danych, API oraz współdzielone zasoby plikowe.
  • Doświadczenie w projektach międzynarodowych lub realizowanych na wielu rynkach.

Project details

  • Start: ASAP
  • Remote: hybrid
  • Location: Remote, Gdynia, Warsaw, Cracow, Poznan, Wrocław, PL
  • Rate: 120-130 EUR/h
  • Languages: English, Polish

Indexed by 9am's meta-search. You are a job provider? Claim or manage this listing

Found on nofluffjobs.com

  1. Job boardNew

    Senior Data Modeller

    Confidential· Canberra, Australia· Hybrid· SENIOR

    • Data Modelling
    • Enterprise Data Warehouse
    • SQL
    • +3

Browse all jobs
Sign up free to apply