Data Engineer / Senior Data Engineer

Dla jednej z największych instytucji finansowych w Polsce, działającej w branży ubezpieczeniowej, poszukujemy Data Engineera / Senior Data Engineera do pracy przy projektowaniu, rozwijaniu i optymalizacji procesów przetwarzania danych w środowisku Microsoft Fabric.

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Bardzo dobra znajomość Pythona, w tym PySpark, oraz SQL.
• Praktyczne doświadczenie z co najmniej jedną platformą chmurową do przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość warstwowej architektury danych, np. architektury medalionowej, oraz formatów Delta i Parquet.
• Doświadczenie w pracy zespołowej z wykorzystaniem Git.
• Umiejętność integrowania różnorodnych źródeł danych, w tym plików Excel od użytkowników biznesowych.
• Gotowość do podpisania NDA oraz przejścia weryfikacji bezpieczeństwa.

Nice to have:

• Certyfikat DP-600 lub DP-700.
• Doświadczenie w sektorze ubezpieczeniowym lub finansowym lub innym środowisku o wysokich wymaganiach audytowych.
• Znajomość języka R
• Praktyczne doświadczenie z CI/CD dla platform danych.
• Znajomość frameworków do kontroli jakości danych.
• Doświadczenie w pracy zgodnej z metodykami Agile i Scrum.

• Projektowanie i implementowanie pipeline’ów w Data Factory oraz notebooków PySpark w Microsoft Fabric.
• Podłączanie źródeł plikowych i bazodanowych, wraz z ich walidacją techniczną i standaryzacją formatów.
• Transformowanie danych oraz przygotowywanie danych wsadowych.
• Implementowanie reguł kontroli jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapisywanie metadanych przebiegu, takich jak parametry, źródła i wersje.
• Praca zgodnie ze standardami Git: przechowywanie kodu pipeline’ów w repozytorium, wdrożenia przez CI/CD oraz udział w code review.
• Współpraca z Zespołem Ryzyka przy definiowaniu reguł przekształcania danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych.
• Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure.
• Optymalizowanie procesów pod kątem wydajności i kosztów.

Gotowość do podpisania NDA oraz przejścia weryfikacji bezpieczeństwa.