Data Engineer

Project overview

Cześć! Poznaj możliwości współpracy ze Scalo!

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

Co oferujemy w ramach współpracy?

Mile widziane:

• doradztwo technologiczne,
• tworzenie oprogramowania,
• systemy wbudowane,
• rozwiązania chmurowe,
• zarządzanie danymi,
• dedykowane zespoły projektowe.
• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.
• projektowanie, budowę i rozwój procesów ETL/ELT oraz pipeline’ów przetwarzania danych działających w trybie batch i streaming,
• tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake,
• integrację danych pochodzących z systemów on-premise, chmury GCP, baz danych, plików, interfejsów API,
• projektowanie logicznych i fizycznych modeli danych,
• przygotowywanie warstw danych, datamartów tematycznych oraz zbiorów wykorzystywanych w procesach analitycznych i kampanijnych,
• tworzenie i optymalizację zapytań SQL w relacyjnych oraz kolumnowych bazach danych,
• programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Rust,
• budowę przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub,
• optymalizację wydajności procesów oraz kosztów przetwarzania danych w środowisku GCP,
• wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania,
• przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania,
• przygotowywanie testów oraz wsparcie wdrożeń zmian w procesach zasilania danych,
• lokalizacja projektu: Warszawa,
• tryb realizacji usług: hybrydowy, obecność w biurze raz w tygodniu w Warszawie,
• budżet projektu: do 150 PLN/h + VAT, w zależności od doświadczenia i zakresu świadczonych usług.
• minimum 5 lat doświadczenia na podobnym stanowisku,
• doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych,
• dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych,
• praktyczna znajomość BigQuery, obejmująca projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizację wydajności i kosztów zapytań,
• doświadczenie w programowaniu w Pythonie i/lub Rust,
• znajomość przetwarzania danych zarówno w trybie batch, jak i streaming,
• znajomość architektury sterowanej zdarzeniami oraz technologii takich jak Kafka lub Pub/Sub,
• znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL,
• znajomość systemu Linux,
• znajomość Apache Spark, Apache Beam lub Google Cloud Dataflow,
• doświadczenie z Kubernetes, Docker oraz procesami CI/CD,
• znajomość Informatica PowerCenter lub innych narzędzi klasy ETL,
• znajomość AutomateNOW,
• znajomość systemów kampanijnych, procesów segmentacji klientów lub przygotowywania danych na potrzeby marketing automation.

Project details

• Start: ASAP
• Location: Warszawa, PL
• Rate: 140-150 EUR/h