Senior Data Engineer (ETL / GCP)

160 PLN/ godz./ godz.B2BB2B (netto)

SeniorHybryda·WarszawaFull-time·B2B

#473445·Dodano wczoraj·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

ETLELTBigQuery Python Rust Kafka

Podsumowanie oferty

W zespole rozwijającym procesy zasilania hurtowni danych, środowiska Big Data, platformy Google Cloud i systemów kampanijnych będziesz projektować oraz rozwijać pipeline’y danych. Praca obejmuje przetwarzanie batch i streaming z wykorzystaniem m.in. ETL/ELT, BigQuery, SQL, Python, Rust i Kafka.

Wymagania

Doświadczenie na poziomie senior w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych.
Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
Praktyczna znajomość BigQuery: projektowania struktur danych, partycjonowania, klastrowania oraz optymalizacji wydajności i kosztów.
Doświadczenie w programowaniu w Pythonie i/lub Ruście.
Znajomość przetwarzania danych w trybie batch i streaming.
Znajomość architektury sterowanej zdarzeniami (Kafka lub Pub/Sub).
Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.
Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.
Znajomość Linuxa pozwalająca na samodzielną pracę i diagnozowanie problemów.
Umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne.

Mile widziane:

Doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage.
Znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow.
Doświadczenie z Kubernetes, Dockerem i CI/CD.
Znajomość Informatica PowerCenter lub innych narzędzi ETL.
Doświadczenie w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym.
Znajomość systemów kampanijnych, segmentacji klientów lub marketing automation.
Doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability.
Znajomość zagadnień bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych.
Znajomość AutomateNOW.
Samodzielność, odpowiedzialność i konsekwencja w realizacji zadań.
Dbałość o jakość, niezawodność i utrzymywalność rozwiązań.
Dobra organizacja pracy i umiejętność szybkiego przyswajania wiedzy.
Umiejętność efektywnej współpracy w zespole.
Doświadczenie we współpracy z klientem biznesowym.
Dobre umiejętności komunikacyjne i analityczne podejście do problemów.

Obowiązki

Projektowanie, budowa i rozwój pipeline’ów ETL/ELT działających w trybie batch i streaming.
Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformę kampanijną.
Integracja danych z systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.
Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie warstw danych i datamartów tematycznych.
Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście.
Budowa przepływów zdarzeniowych z wykorzystaniem Kafki lub Pub/Sub.
Dbanie o jakość, kompletność, spójność i terminowość danych.
Optymalizacja wydajności procesów i kosztów przetwarzania w GCP.
Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania.
Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania.
Testowanie, wsparcie wdrożeń, diagnozowanie incydentów i utrzymanie rozwiązań.
Tworzenie dokumentacji technicznej i rozwój rozwiązań zgodnie z podejściem DevSecOps.

RITS

90 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz