Data Engineer

do 150 PLN/ godz./ godz.B2BB2B (netto)

SeniorHybryda·WarszawaFull-time·B2B

#474696·Dodano dziś·0

Źródło: Scalo

Aplikuj teraz

Tech Stack / Keywords

SQL KafkaETL/ELTBigQuery Python Rust GCPPub/SubPostgreSQL Oracle

Podsumowanie oferty

Projekt obejmuje projektowanie, budowę i rozwój procesów ETL/ELT oraz pipeline’ów przetwarzania danych w trybie batch i streaming. Praca dotyczy zasilania BigQuery i hurtowni danych oraz integracji danych z różnych źródeł. Wykorzystywane technologie obejmują SQL, Python i/lub Rust, Kafka lub Pub/Sub oraz GCP.

Wymagania

Wymagane:

Minimum 5 lat doświadczenia na podobnym stanowisku.
Doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych.
Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
Praktyczna znajomość BigQuery, obejmująca projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizację wydajności i kosztów zapytań.
Doświadczenie w programowaniu w Pythonie i/lub Rust.
Znajomość przetwarzania danych zarówno w trybie batch, jak i streaming.
Znajomość architektury sterowanej zdarzeniami oraz technologii takich jak Kafka lub Pub/Sub.
Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.
Znajomość systemu Linux.

Mile widziane:

Znajomość Apache Spark, Apache Beam lub Google Cloud Dataflow.
Doświadczenie z Kubernetes, Docker oraz procesami CI/CD.
Znajomość Informatica PowerCenter lub innych narzędzi klasy ETL.
Znajomość AutomateNOW.
Znajomość systemów kampanijnych, procesów segmentacji klientów lub przygotowywania danych na potrzeby marketing automation.

Obowiązki

Zakres współpracy obejmuje:

Projektowanie, budowę i rozwój procesów ETL/ELT oraz pipeline’ów przetwarzania danych działających w trybie batch i streaming.
Tworzenie procesów zasilających BigQuery, hurtownie danych i Data Lake.
Integrację danych pochodzących z systemów on-premise, chmury GCP, baz danych, plików i interfejsów API.
Projektowanie logicznych i fizycznych modeli danych.
Przygotowywanie warstw danych, datamartów tematycznych oraz zbiorów wykorzystywanych w procesach analitycznych i kampanijnych.
Tworzenie i optymalizację zapytań SQL w relacyjnych oraz kolumnowych bazach danych.
Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Rust.
Budowę przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub.
Optymalizację wydajności procesów oraz kosztów przetwarzania danych w środowisku GCP.
Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania.
Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania.
Przygotowywanie testów oraz wsparcie wdrożeń zmian w procesach zasilania danych.

Benefity

Możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services.
Zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie.
Dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Opieka zdrowotna

Karta sportowa

Scalo

852 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz