Data Engineer / Senior Data Engineer Microsoft Fabric

Jesteśmy liderem rekrutacji specjalistów i menedżerów oraz doradztwa w obszarze HR. Marka obecna jest w 35 krajach, w Polsce działa od 1996 roku, zatrudnia ponad 130 profesjonalnych konsultantów ds. rekrutacji.

• Minimum 3 lata doświadczenia na stanowisku Data Engineer
• Bardzo dobra znajomość Python (PySpark) oraz SQL
• Doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks
• Znajomość architektury warstwowej danych (np. Medallion Architecture)
• Doświadczenie w pracy z formatami Delta oraz Parquet
• Praktyczna znajomość Git i pracy zespołowej w środowisku developerskim
• Doświadczenie w integracji różnorodnych źródeł danych
• Gotowość do podpisania NDA i przejścia procesu weryfikacji bezpieczeństwa

Mile widziane:

• Certyfikat DP-600 lub DP-700
• Doświadczenie w sektorze finansowym lub środowisku regulowanym
• Znajomość języka R
• Doświadczenie z CI/CD dla platform danych
• Znajomość narzędzi i frameworków Data Quality
• Praktyka w metodykach Agile/Scrum

• Projektowanie i rozwój pipeline'ów danych w Microsoft Fabric Data Factory
• Tworzenie i utrzymanie notebooków PySpark
• Integracja źródeł danych (plikowych i bazodanowych)
• Przygotowywanie oraz transformacja danych wsadowych
• Implementacja mechanizmów walidacji jakości danych i raportowania błędów
• Wersjonowanie danych oraz zarządzanie metadanymi
• Praca z repozytoriami Git oraz procesami CI/CD
• Współpraca z zespołami biznesowymi przy definiowaniu reguł przetwarzania danych
• Dbanie o zgodność rozwiązań z wymaganiami bezpieczeństwa i prywatności danych
• Optymalizacja wydajności i kosztów środowiska danych