Data Engineer | Branża medialna

Nasz klient to globalna firma technologiczna działająca w sektorze wywiadu i pomiarów medialnych. Specjalizuje się w szeroko zakrojonych, prowadzonych w czasie rzeczywistym analizach uwagi konsumentów w środowiskach cyfrowych i telewizji internetowej. Jej platforma danych wspiera niektóre z największych światowych marek w podejmowaniu decyzji opartych na danych, w oparciu o kulturowo istotne sygnały behawioralne.

• Minimum 2 lata doświadczenia zawodowego w obszarze Data Engineering, Software Engineering lub Operational Engineering
• Doświadczenie z Databricks i PySpark
• Bardzo dobra znajomość Pythona, w tym budowanie i debugowanie pipeline’ów danych oraz skryptów automatyzujących
• Praktyczne doświadczenie z Apache Airflow, w tym tworzenie DAG-ów, praca z operatorami i troubleshooting
• Bardzo dobra znajomość SQL
• Doświadczenie w pracy z platformami chmurowymi, takimi jak AWS i/lub GCP
• Doświadczenie z Unity Catalog
• Doświadczenie z migracjami baz danych oraz zarządzaniem schematami i wersjonowaniem

Nice to have:

• Doświadczenie w budowaniu agentowych lub opartych na AI workflow automatyzujących
• Doświadczenie w obszarze jakości danych, frameworków walidacyjnych lub obserwowalności danych

• Projektowanie, budowanie i utrzymywanie kompleksowych pipeline’ów danych dla raportów pomiarowych skierowanych do klientów oraz licencjonowanych zbiorów danych
• Obsługa i troubleshooting DAG-ów Apache Airflow wspierających zaplanowane oraz ad hoc dostarczanie danych
• Zarządzanie workflow opartymi na modelu push-based delivery, obejmującymi cloud storage, transfery plików oraz weryfikację dostarczenia danych
• Analiza i rozwiązywanie incydentów produkcyjnych w systemach rozproszonych, takich jak Airflow, bazy danych i cloud storage
• Wdrażanie automatyzacji oraz agentów opartych na AI w celu usprawnienia procesów operacyjnych i walidacji danych
• Wsparcie niestandardowych zgłoszeń dotyczących dostarczania danych, w tym dopasowywania plików, zbiorów cross-reference oraz dedykowanych konfiguracji dla klientów
• Tworzenie narzędzi do kontroli jakości i walidacji danych w celu zapewnienia ich poprawności przed dostarczeniem do klienta
• Pisanie i utrzymywanie migracji bazodanowych dla konfiguracji dostaw oraz ustawień klientów
• Współpraca z zespołami produktowymi, inżynieryjnymi, measurement science oraz zespołami mającymi bezpośredni kontakt z klientem
• Dokumentowanie procesów operacyjnych, runbooków oraz workflow związanych z dostarczaniem danych