Azure Databricks Engineer

Poszukujemy doświadczonego Azure Databricks Engineera, który będzie odpowiedzialny za projektowanie, rozwój oraz optymalizację nowoczesnych rozwiązań Data Engineering w środowisku Microsoft Azure. Stanowisko koncentruje się na budowie skalowalnych platform danych wspierających procesy HR, z naciskiem na jakość, automatyzację oraz najlepsze praktyki inżynierskie. Praca jest dedykowana dla rozpoznawalnego klienta z branży bankowej.

• Minimum 7-8 lat doświadczenia w obszarze Data Engineering.
• Bardzo dobra znajomość platformy Microsoft Azure.
• Praktyczne doświadczenie z: Azure Databricks, Azure Data Factory, Azure Data Lake Storage Gen2, Azure SQL Database oraz PostgreSQL, usługami Azure Analytics.
• Bardzo dobra znajomość Apache Spark (PySpark/Scala) oraz SQL.
• Doświadczenie w projektowaniu i budowie hurtowni danych oraz rozwiązań analitycznych.
• Znajomość architektur Data Lake, Data Mesh oraz integracji danych w środowiskach rozproszonych.
• Doświadczenie z narzędziami do orkiestracji procesów, preferowany Apache Airflow.
• Znajomość Git oraz pracy z repozytoriami GitHub lub GitLab.
• Doświadczenie z procesami CI/CD oraz środowiskami DevOps.
• Umiejętność pracy z systemami Linux lub PowerShell.
• Bardzo dobra znajomość języka angielskiego (min B2/C1).

• Projektowanie, rozwój i optymalizacja rozwiązań Data Engineering w środowisku Microsoft Azure.
• Tworzenie i rozwój procesów ETL/ELT oraz platform analitycznych z wykorzystaniem Azure Databricks i Azure Data Factory.
• Projektowanie rozwiązań opartych o Azure Data Lake Storage Gen2, Azure SQL oraz Azure Database for PostgreSQL.
• Budowa wydajnych procesów przetwarzania dużych wolumenów danych z wykorzystaniem Apache Spark (PySpark lub Scala).
• Integracja danych z wielu źródeł oraz projektowanie architektury Data Lake, Data Mesh i nowoczesnych platform analitycznych.
• Tworzenie rozwiązań zgodnie z najlepszymi praktykami w zakresie jakości, bezpieczeństwa, monitorowania oraz niezawodności.
• Implementacja procesów CI/CD oraz automatyzacja wdrożeń w środowisku Azure.