Azure Data Engineer with Databricks

Project overview

Poszukujemy doświadczonej osoby na stanowisko Azure Data Engineer with Databricks, która dołączy do długoterminowego projektu realizowanego dla klienta z branży Life Sciences.

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój i utrzymanie skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure, ze szczególnym uwzględnieniem Databricks, Azure Data Factory oraz nowoczesnych architektur Data Lakehouse.

Stawka: 110-130 PLN/h

Lokalizacja: 100% praca zdalna + 1 wizyta miesięcznie w biurze w Warszawie

Długość projektu: Długoterminowy

Zakres obowiązków

Wymagania

Jeśli masz doświadczenie w Azure Data Engineering i Databricks oraz szukasz długoterminowego projektu, zapraszamy do aplikowania!

• Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania dużych zbiorów danych, zarówno strukturalnych, jak i niestrukturalnych.
• Projektowanie, budowa i utrzymanie wydajnych potoków danych integrujących informacje z różnych źródeł, w tym baz danych, API oraz platform strumieniowych.
• Rozwój rozwiązań opartych na Azure Databricks i Azure Data Factory.
• Współpraca z zespołami Data Engineering, Data Science, architektami chmurowymi oraz innymi interesariuszami w celu dostarczania kompleksowych rozwiązań danych.
• Udział w kluczowych etapach realizacji projektu, we współpracy z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami oraz Product Ownerami.
• Dokumentowanie rozwiązań technicznych oraz uwzględnianie wydajności, skalowalności i kosztów w podejmowanych decyzjach architektonicznych.
• Wspieranie procesów CI/CD i wdrażanie dobrych praktyk DevOps w obszarze przetwarzania danych.
• Doświadczenie w Azure Data Engineering, pracy z Databricks i Azure Data Factory.
• Bardzo dobra znajomość SQL, PySpark, Python oraz ETL/ELT.
• Znajomość modelowania danych (3NF, Star/Snowflake).
• Praktyczna znajomość Databricks: Unity Catalog, MLflow, Jobs i Pipelines.
• Znajomość architektury Data Lakehouse, Medallion oraz integracji API.
• Doświadczenie w CI/CD i DevOps (Git, Azure DevOps).
• Znajomość integracji z narzędziami analitycznymi, np. Power BI.
• Dobre umiejętności komunikacyjne i doświadczenie we współpracy z klientem oraz zespołami interdyscyplinarnymi.
• Mile widziane: znajomość AWS lub GCP.

Project details

• Start: flexible
• Remote: remote
• Location: Warszawa, Emilii Plater 53, PL
• Rate: 110-130 EUR/h