Data Engineer (k/m/x)

Brak informacji o wynagrodzeniu

SeniorHybryda·WarszawaFull-time·B2B

#473449·Dodano wczoraj·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

BigQuery ETL SQL Python

Podsumowanie oferty

Rozwój procesów zasilania danych dla hurtowni danych, środowiska Big Data i platformy Google Cloud. Dane są wykorzystywane m.in. do datamartów, analiz, raportowania, segmentacji klientów oraz przygotowywania spersonalizowanych ofert i kampanii.

Wymagania

Doświadczenie w budowie procesów ETL lub ELT.
Doświadczenie w pisaniu i optymalizacji zapytań SQL.
Doświadczenie w pracy z BigQuery.
Doświadczenie w programowaniu w Pythonie lub Ruście.
Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming.
Doświadczenie w pracy z Kafką lub Pub/Sub.
Doświadczenie w pracy z bazami Oracle lub PostgreSQL.
Znajomość systemu Linux.

Mile widziane:

Doświadczenie z Google Cloud.
Doświadczenie z Dataflow lub Dataproc, Cloud Storage.
Doświadczenie z Apache Spark.
Doświadczenie z Apache Beam.
Doświadczenie z Kubernetes lub Docker.
Doświadczenie z Informatica PowerCenter.
Doświadczenie z Data Lake.
Doświadczenie z AutomateNOW.

Obowiązki

Projektowanie, budowa i rozwój pipeline’ów ETL/ELT w batchu i streamingu.
Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych.
Modelowanie danych i tworzenie datamartów.
Optymalizacja SQL, wydajności i kosztów.
Zapewnianie jakości danych, monitoringu, obsługi błędów i testów.
Diagnozowanie incydentów i wsparcie wdrożeń.
Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps.

B2Bnetwork

149 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz