Senior Data Engineer

W Comarch dbamy o to, aby dane stanowiły stabilny i bezpieczny krwioobieg organizacji. Obecnie firma przechodzi kluczowy etap transformacji cyfrowej i finansowej (projekt F1), rozwijając platformę danych (Data Hub) w obszarze Master Data Management (MDM) oraz Data Quality.

• Minimum 4-5 lat komercyjnego doświadczenia na stanowisku Data Engineer
• Bardzo dobra znajomość SQL (w tym funkcje analityczne, optymalizacja zapytań, projektowanie widoków i struktur tabelarycznych) oraz Python (przetwarzanie danych, biblioteki pandas/polars, integracje API)
• Praktyczna znajomość narzędzi orkiestracji danych, np. Apache Airflow oraz doświadczenie w budowie hurtowni danych lub Data Hubów
• Doświadczenie w obszarze MDM / Record Linkage (deduplikacja danych, silniki matchowania) lub silna motywacja do rozwoju w tym kierunku
• Znajomość dobrych praktyk inżynierskich: kontrola wersji (Git), konteneryzacja (Docker), automatyzacja wdrożeń (CI/CD) oraz testy jednostkowe
• Umiejętność płynnej komunikacji i tłumaczenia zawiłych zagadnień technicznych na język biznesowy
• Biegła znajomość języka polskiego (ojczysty) oraz dobra znajomość języka angielskiego (min. B2)

• Projektowanie i wdrażanie architektury warstw danych (staging, raw, golden record, presentation) w Data Hubie
• Tworzenie i automatyzacja potoków danych (ETL/ELT) z użyciem Apache Airflow, Spark, dbt oraz zaawansowanego SQL
• Implementacja i optymalizacja potoków tworzenia „Złotego Rekordu” przy użyciu biblioteki Splink (Python) oraz reguł deterministycznych i probabilistycznych
• Zarządzanie regułami scalania i pierwszeństwa danych (survivorship rules) dla klientów i dostawców
• Wdrażanie i obsługa frameworka Great Expectations do automatycznej walidacji jakości danych
• Przejęcie repozytoriów kodu od dostawców zewnętrznych oraz ich standaryzacja in-house przy zachowaniu dobrych praktyk (Git, Docker, CI/CD)