Data Engineer / Senior Data Engineer Microsoft Fabric

Dla klienta z sektora finansowego poszukujemy osoby, która dołączy do zespołu rozwijającego nowoczesną platformę danych opartą o technologie Microsoft.

• Minimum 3 lata doświadczenia na stanowisku Data Engineer
• Bardzo dobra znajomość Python (PySpark) oraz SQL
• Doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks
• Znajomość architektury warstwowej danych (np. Medallion Architecture)
• Doświadczenie w pracy z formatami Delta oraz Parquet
• Praktyczna znajomość Git i pracy zespołowej w środowisku developerskim
• Doświadczenie w integracji różnorodnych źródeł danych
• Gotowość do podpisania NDA i przejścia procesu weryfikacji bezpieczeństwa

Nice to have:

• Certyfikat DP-600 lub DP-700
• Doświadczenie w sektorze finansowym lub środowisku regulowanym
• Znajomość języka R
• Doświadczenie z CI/CD dla platform danych
• Znajomość narzędzi i frameworków Data Quality
• Praktyka w metodykach Agile/Scrum

• Projektowanie i rozwój pipeline'ów danych w Microsoft Fabric Data Factory
• Tworzenie i utrzymanie notebooków PySpark
• Integracja źródeł danych (plikowych i bazodanowych)
• Przygotowywanie oraz transformacja danych wsadowych
• Implementacja mechanizmów walidacji jakości danych i raportowania błędów
• Wersjonowanie danych oraz zarządzanie metadanymi
• Praca z repozytoriami Git oraz procesami CI/CD
• Współpraca z zespołami biznesowymi przy definiowaniu reguł przetwarzania danych
• Dbanie o zgodność rozwiązań z wymaganiami bezpieczeństwa i prywatności danych
• Optymalizacja wydajności i kosztów środowiska danych

Informujemy, że administratorem danych jest Antal Sp. z o.o. z siedzibą we Wrocławiu. Podanie danych jest częściowo obowiązkowe zgodnie z Kodeksem pracy. Dane osobowe będą przetwarzane w celu realizacji procesu rekrutacji oraz przez określony czas zgodnie z polityką administratora.