Data Engineer

Wspólnie z naszym Partnerem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer. Projekt dotyczy budowy i rozwoju warstwy danych w Microsoft Fabric, integrującej dane z wielu źródeł i przygotowującej wersjonowane, audytowalne zestawy danych na potrzeby modeli ryzyka w sektorze ubezpieczeniowym.

• Minimum 3 letnie doświadczenie komercyjne w roli Data Engineera przy realizacji projektów produkcyjnych.
• Doświadczenie w pracy z platformami chmurowymi do przetwarzania danych, w szczególności Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość warstwowej architektury danych (medalionowej lub podobnej), formatów Delta Lake/Parquet oraz Azure Data Lake Storage.
• Bardzo dobra znajomość Python (PySpark) oraz SQL, umożliwiająca efektywną pracę z dużymi zbiorami danych.
• Doświadczenie w integracji danych z różnych źródeł, w tym plików Excel od użytkowników biznesowych.

Nice to have:

• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych.
• Doświadczenie w wykorzystaniu CI/CD w projektach data engineering.
• Certyfikat DP-600 lub DP-700.
• Znajomość języka R.

• Opracowanie i wdrożenie pipeline'ów danych w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric, wraz z bieżącym rozwojem zgodnie z ustaleniami projektowymi.
• Wdrożenie mechanizmu wersjonowania zestawów danych oraz rejestracji metadanych przebiegu procesów, w tym źródeł i wersji danych.
• Opracowanie reguł transformacji oraz zapewnienie zgodności rozwiązania z wymaganiami bezpieczeństwa i prywatności danych.
• Transformacja i przygotowanie danych wsadowych wraz z implementacją reguł kontroli jakości oraz raportowania błędów.
• Integracja źródeł plikowych i bazodanowych, w tym onboarding danych, walidacja techniczna i standaryzacja formatów.
• Zarządzanie kodem w repozytorium Git, z wykorzystaniem code review oraz procesów CI/CD do wdrażania zmian.
• Optymalizacja procesów pod kątem wydajności, stabilności oraz kosztów działania środowiska Azure.