Senior Data Engineer (k/m)

Brak informacji o wynagrodzeniu

SeniorHybryda·WarszawaFull-time

#475923·Dodano wczoraj·0

Źródło: nofluffjobs.com

Aplikuj teraz

Tech Stack / Keywords

ETL BigQuery SQL Python Kafka Oracle PostgreSQL Linux Rust Apache SparkApache BeamKubernetes Docker CI/CDData LakeGoogle Cloud

Podsumowanie oferty

Starszy Inżynier Danych będzie rozwijać rozwiązania dla klienta z branży bankowej, w zespole zasilającym hurtownię danych, środowisko Big Data, platformę Google Cloud i systemy kampanijne. Głównym zadaniem będzie budowa procesów ETL/ELT i pipeline’ów przetwarzających dane wsadowo oraz niemal w czasie rzeczywistym. Dane będą wykorzystywane w datamartach, analizach, raportach, segmentacji klientów i spersonalizowanych kampaniach.

Wymagania

Minimum 5-letnie doświadczenie komercyjne w inżynierii danych, w tym w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych.
Bardzo dobra znajomość SQL, włącznie z optymalizacją zapytań i pracą na dużych wolumenach danych.
Praktyczna praca z BigQuery: projektowanie struktur, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów.
Doświadczenie programistyczne w Pythonie i/lub Ruście.
Znajomość przetwarzania danych w trybie batch i streaming.
Znajomość architektury event-driven oraz technologii takich jak Kafka lub Pub/Sub.
Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.
Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.
Znajomość języka polskiego na poziomie C1.

Mile widziane:

Doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage.
Znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow.
Praca z Kubernetes, Dockerem i procesami CI/CD.
Znajomość Informatica PowerCenter lub innych narzędzi ETL.
Udział w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym.
Znajomość systemów kampanijnych, segmentacji klientów lub przygotowania danych dla marketing automation.
Doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability.
Wiedza z zakresu bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych.
Znajomość AutomateNOW.

Obowiązki

Projektowanie, budowa i rozwijanie pipeline’ów ETL/ELT działających w trybie batch oraz streaming, w szczególności na potrzeby systemów kampanijnych.
Tworzenie procesów ładujących dane do BigQuery, hurtowni danych, Data Lake i platformy kampanijnej.
Integrowanie danych z wielu źródeł: systemów on-premise, GCP, baz danych, plików, API oraz systemów zdarzeniowych.
Budowa przepływów opartych na zdarzeniach z użyciem m.in. Kafka lub Pub/Sub.
Projektowanie modeli danych na poziomie logicznym i fizycznym oraz przygotowywanie warstw danych, datamartów tematycznych i zbiorów dla procesów analitycznych i kampanijnych.
Pisanie i optymalizacja zapytań SQL w bazach relacyjnych i kolumnowych.
Implementacja procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście.
Dbanie o jakość, kompletność, spójność i terminowe dostarczanie danych.
Optymalizacja wydajności oraz kosztów przetwarzania w GCP.
Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponownego przetwarzania.
Przekładanie potrzeb biznesu na koncepcje techniczne, modele danych i działające rozwiązania.
Przygotowywanie testów, wsparcie wdrożeń, analiza incydentów i utrzymanie rozwiązań.
Tworzenie i aktualizacja dokumentacji technicznej oraz praca zgodnie z podejściem DevSecOps.

Benefity

Dofinansowanie szkoleń i certyfikatów.
Opieka medyczna LUX-MED.
Dofinansowanie 50% do karty Multisport.
Dofinansowanie do nauki języków.
Dostęp do platformy wellbeingowej.
Program Poleceń Pracowniczych.

Dofinansowanie szkoleń

Opieka zdrowotna

Karta sportowa

Kursy językowe

Finture Sp. z o.o.

43 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz