NEONTRI

Data Engineer - GCP / BigQuery (K/M)

135 - 150 PLN/ godz./ godz.B2BB2B (netto)

SeniorHybryda·WarszawaInne·B2B

#475610·Dodano 7 dni temu·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python Rust SQL BigQuery KafkaPub/SubETL

Podsumowanie oferty

Będziesz rozwijać rozwiązania z obszaru inżynierii danych dla Klienta z branży bankowej. Twoim zadaniem będzie projektowanie i rozwój pipeline’ów ETL/ELT oraz procesów zasilających hurtownie danych i platformę Google Cloud, w tym BigQuery.

Wymagania

Doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych.
Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
Praktyczna znajomość BigQuery — projektowania struktur danych, partycjonowania, klastrowania oraz optymalizacji wydajności i kosztów zapytań.
Doświadczenie programistyczne w Pythonie i/lub Rust.
Znajomość przetwarzania danych w trybie batch oraz streaming.
Znajomość architektury sterowanej zdarzeniami i technologii takich jak Kafka lub Pub/Sub.
Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.
Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.

Obowiązki

Projektowanie, budowa i rozwój pipeline’ów ETL/ELT przetwarzających dane w trybie batch i streaming.
Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformy kampanijne.
Integracja danych z różnych źródeł: systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.
Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie tematycznych datamartów.
Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
Programowanie procesów przetwarzania i ładowania danych z wykorzystaniem Pythona i/lub Rusta.
Budowanie przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub.
Dbanie o jakość, kompletność, spójność i terminowość dostarczanych danych.
Optymalizacja wydajności procesów oraz kosztów przetwarzania danych w środowisku Google Cloud.

Inne informacje

Proces rekrutacyjny obejmuje krótką, około 20-minutową rozmowę online z działem HR oraz około godzinną rozmowę techniczną online z Klientem.

NEONTRI

55 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz