Senior Data Engineer (Databricks)

Poszukujemy doświadczonych Senior Data Engineer'ów do nowo tworzonego zespołu w Polsce, specjalizującego się w migracji danych do chmury dla międzynarodowej duńskiej organizacji z sektora finansowego. Projekt obejmuje transformację istniejących rozwiązań oraz rozwój nowoczesnej platformy danych opartej na architekturze Lakehouse.

• Minimum 6 lat doświadczenia komercyjnego w roli Data Engineera
• Doświadczenie w migracji danych i projektowaniu rozwiązań chmurowych
• Bardzo dobra znajomość języków SQL i Python, w tym umiejętność tworzenia skalowalnych i czytelnych skryptów oraz testów automatycznych
• Praktyczna znajomość narzędzi z ekosystemu Azure, w szczególności: Azure Data Factory (ADF), Databricks (w szczególności DQX) lub znajomość innych narzędzi do automatyzacji kontroli jakości danych
• Doświadczenie w budowaniu procesów ETL oraz tworzeniu i implementacji data pipelines
• Zrozumienie zasad tworzenia data contracts i domen danych
• Wiedza z zakresu testowania jakości danych w procesach przetwarzania danych (ETL/ELT), np. Great Expectations – mile widziane
• Znajomość zagadnień związanych z migracją danych i integracją danych legacy
• Umiejętność pracy w międzynarodowym zespole oraz komunikacji z interesariuszami - zdolność zrozumienia ich potrzeb i przekształcania ich w wymagania techniczne

Nice to have:

• Certyfikaty: Databricks Certified Data Engineer Associate, Microsoft Azure Data Fundamentals (DP-900)
• Wiedza domenowa z zakresu ubezpieczeń (w szczególności umów, osób, polis, roszczeń itp.)
• Bardzo dobra komunikacja w języku angielskim - min. C1

• Migracja istniejących rozwiązań danych do środowiska chmurowego
• Projektowanie oraz implementacja procesów ETL
• Modelowanie danych oraz tworzenie transformacji danych w oparciu o wymagania użytkowników końcowych
• Implementacja kontraktów danych i domen danych (np. Umowy, Polisy, Klienci, Roszczenia)
• Współpraca z interesariuszami w celu zrozumienia wymagań biznesowych
• Przeprowadzanie testów jakości danych, preferencyjnie automatycznych, i tworzenie mechanizmów kontrolnych zapewniających spójność danych
• Tworzenie i utrzymywanie dokumentacji technicznej i biznesowej
• Udział w planowaniu prac z wykorzystaniem Azure DevOps
• Udział w analizach potrzeb biznesowych i współpraca z lokalnymi przedstawicielami klienta w celu określenia wymagań funkcjonalnych i niefunkcjonalnych
• Dbanie o jakość i spójność kodu źródłowego, w tym przestrzeganie dobrych praktyk programistycznych i standardów kodowania przy pracy z SQL i Pythonem
• Udział w rozwoju i utrzymaniu fundamentów danych wspierających produkty biznesowe
• Współpraca z zespołami międzynarodowymi

Praca w 100% zdalna, wymagana otwartość na podróż do Danii na początku projektu oraz sporadyczne wizyty w warszawskim biurze.