Data Engineer (Microsoft Fabric i PySpark)

Nasz dział oprogramowania nieustannie pracuje nad doskonaleniem produktów, aby spełniać oczekiwania rynku. Do jednego z naszych wewnętrznych InsERT-owych zespołów, poszukujemy Inżyniera Danych, który będzie odpowiedzialny min. za tworzenie, rozwój i zarządzanie procesami transformacji i integracji danych z wykorzystaniem Microsoft Fabric, monitorowanie, analizę procesów, optymalizację wydajności i kosztów dla nowych i istniejących rozwiązań.

• Znajomość języków PySpark oraz SQL
• Doświadczenie w technologiach Azure (Microsoft Fabric, Azure Data Factory)
• Doświadczenie w modelowaniu danych i integracji danych
• Umiejętności rozwiązywania problemów, analitycznego i krytycznego myślenia
• Doświadczenie w pracy w metodyce Agile Scrum
• Doświadczenie z Azure DevOps (Repozytoria, Potoki)
• Doświadczenie w budowaniu platformy danych (relational data warehouse, modern data warehouse, data lakehouse, data fabric)

Nice to have:

• Certyfikat DP-203, DP-600, DP-700 lub podobny
• Znajomość PowerBI
• Znajomość usług dostępnych na platformie Azure
• Umiejętność implementowania rozwiązań ML w chmurze

• Praca na nowoczesnej platformie danych Microsoft Fabric
• Przetwarzanie i transformacja dużych zestawów danych za pomocą języków PySpark i Spark SQL
• Modelowanie danych w architekturze medalionu
• Budowanie procesów ELT/ETL
• Monitorowanie i optymalizacja procesów przetwarzania danych pod względem wydajnościowym i kosztowym
• Dbanie o jakość danych
• Refaktoryzacja obecnych rozwiązań
• Współpraca z analitykami danych i zespołami biznesowymi w celu znalezienia najlepszego sposobu pobrania i modelowania danych biznesowych
• Tworzenie, konfiguracja, implementacja architektury danych opartych o rozwiązanie Microsoft Fabric