Data Engineer

Wirtualna Polska działa w obszarach mediów, reklamy i e-commerce, łącząc te elementy w sposób angażujący i inspirujący. Firma tworzy, testuje i wprowadza zmiany tam, gdzie mają sens, budując nowe rozwiązania od podstaw.

• Bardzo dobra znajomość Pythona oraz SQL.
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars.
• Doświadczenie z analitycznymi bazami danych typu kolumnowego.
• Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów.
• Doświadczenie w pracy w sektorze operującym na dużej skali danych.
• Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego.

Nice to have:

• Znajomość konkretnych silników analitycznych: ClickHouse i/lub StarRocks.
• Znajomość Kubernetes oraz narzędzi GitOps (ArgoCD).
• Doświadczenie w branży RTB (Real-Time Bidding) lub programmatic advertising.
• Doświadczenie w projektach z obszaru uczenia maszynowego (ML).
• Znajomość języka Go (Golang).

• Budowa i optymalizacja procesów zasilających modele danymi.
• Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
• Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
• Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
• Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.