Senior Cloud Data Engineer (Azure)

Firma Future Processing poszukuje osoby do projektu dla klienta z rynku DACH z branży turystycznej. Zespół odpowiada za projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w ekosystemie platformy Azure Data Platform, m.in. Azure Synapse, Databricks i Data Lakehouse.

• Minimum 5 lat doświadczenia w IT, w tym min. 3,5 roku w pracy z danymi w chmurze Azure z komercyjnymi projektami na produkcji
• Doświadczenie w pracy z Terraform
• Doświadczenie w pracy z Databricks
• Komercyjne doświadczenie z przetwarzaniem danych w formacie JSON
• Doświadczenie z PySpark
• Zaawansowana znajomość SQL na rozwiązaniach technologicznych MS i nie tylko
• Znajomość metodyk i biegłe stosowanie Git oraz CI/CD
• Tworzenie i optymalizacja rozwiązań przetwarzających dane (ETL, ELT) z projektami technicznymi i alternatywami (np. Apache Airflow)
• Programowanie w Python z użyciem bibliotek Pandas i/lub NumPy
• Znajomość narzędzi: Azure Data Explorer, Azure Data Factory, Azure Data Lake, Azure Databricks, Azure DevOps, Azure Synapse Analytics
• Doświadczenie z praktykami zwinnymi i narzędziami wytwarzania oprogramowania, np. Azure DevOps
• Wiedza o bezpiecznym przechowywaniu i przetwarzaniu danych w chmurze
• Świadome wykorzystanie Generative AI w procesie wytwarzania oprogramowania i decyzjach architektonicznych
• Znajomość języka angielskiego na poziomie minimum B2 oraz swobodna komunikacja w języku polskim

• Implementowanie i optymalizacja procesów ETL/ELT służących do pozyskiwania, transformacji i udostępniania danych z różnych obszarów biznesowych
• Tworzenie i utrzymywanie rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL oraz Apache Spark
• Wsparcie migracji i modernizacji środowisk danych, w tym wdrażanie Unity Catalog
• Budowanie i utrzymywanie workflowów w Databricks, rozwiązań opartych o Delta Live Tables (DLT) i procesów orkiestracji
• Współpraca z architektami, analitykami i interesariuszami biznesowymi w celu przekładania wymagań biznesowych na rozwiązania techniczne
• Współtworzenie i rozwijanie procesów CI/CD, automatyzacji infrastruktury, monitoringu, logowania i praktyk operacyjnych