Data Engineer (Microsoft Fabric)

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,

• tworzenie oprogramowania,

• systemy wbudowane,

• rozwiązania chmurowe,

• zarządzanie danymi,

• dedykowane zespoły projektowe.

• minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych
• praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych
• doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks
• znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet
• doświadczenie w pracy z systemem kontroli wersji Git
• doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych
• gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa

Nice to have:

• certyfikat DP-600 lub DP-700
• doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych
• znajomość języka R
• doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych
• doświadczenie z frameworkami Data Quality
• doświadczenie w metodykach Agile i Scrum

• projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric
• onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych
• realizację transformacji danych oraz przygotowanie danych wsadowych
• implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów
• wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji
• realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD
• współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych
• zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure
• optymalizację procesów pod kątem wydajności i kosztów
• udział w projekcie realizowanym w branży ubezpieczeniowej
• model współpracy: hybrydowy (1x w tygodniu w Warszawie)

• model współpracy hybrydowy: 1 dzień w tygodniu w Warszawie
• wymagana gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa
• stawka do 150 PLN/h w oparciu o współpracę B2B