Data Engineer

Brak informacji o wynagrodzeniu

MidHybryda·GdańskFull-time·Umowa o pracę

#473803·Dodano wczoraj·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python SQL SparkPolarsAnalityczne bazy danychMonitoring modeli produkcyjnychCI/CDStruktury danychOptymalizacja ProcesówPrzetwarzanie dużych wolumenów danych

Podsumowanie oferty

Będziesz rozwijać procesy dostarczające dane do modeli ML w systemie biddera RTB kupującym powierzchnię reklamową dla klientów e-commerce. Praca obejmuje jakość danych, monitoring modeli i optymalizację przetwarzania; wymagane technologie to Python, SQL, Spark i Polars.

Wymagania

Minimum 3 lata komercyjnego doświadczenia w Data Engineering lub pokrewnej roli związanej z przetwarzaniem danych.
Bardzo dobra znajomość Pythona oraz SQL.
Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars.
Doświadczenie z analitycznymi bazami danych typu kolumnowego.
Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów.
Doświadczenie w pracy w sektorze operującym na dużej skali danych.
Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego.

Mile widziane:

Znajomość konkretnych silników analitycznych: ClickHouse i/lub StarRocks.
Znajomość Kubernetes oraz narzędzi GitOps (ArgoCD).
Doświadczenie w branży RTB (Real-Time Bidding) lub programmatic advertising.
Doświadczenie w projektach z obszaru uczenia maszynowego (ML).
Znajomość języka Go (Golang).

Obowiązki

Budowa i optymalizacja procesów zasilających modele danymi.
Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.

Benefity

Darmowy dostęp do produktów, takich jak Pilot WP czy Audioteka.
Worksmile i elastyczny pakiet benefitów.
Dostęp do bezpłatnych i anonimowych konsultacji psychologicznych.
Wydarzenia, w tym sezonowe akcje i webinary o zdrowiu i neuroróżnorodności.
Możliwość rozwoju dzięki szkoleniom w ramach programu WP Akademia.
Możliwość podejmowania nowych wyzwań i kierunków w ramach spółek WP Holding poprzez rekrutacje wewnętrzne.

Spotkania integracyjne

Szkolenia wewnętrzne

Wirtualna Polska Media S.A.

12 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz