Databricks Engineer

Poszukujemy doświadczonego Databricks Engineera, który dołączy do projektu realizowanego dla jednego z największych ubezpieczycieli w Polsce. Nasz klient rozwija nowoczesne rozwiązania technologiczne, inwestując w obszary Data & Analytics, automatyzację oraz sztuczną inteligencję. W ramach współpracy będziesz uczestniczyć w rozwoju platformy danych, budowaniu procesów integracyjnych oraz wdrażaniu rozwiązań umożliwiających efektywne przetwarzanie i udostępnianie danych na potrzeby biznesu, analityki oraz kolejnych inicjatyw technologicznych.

• Minimum 4 lata doświadczenia w obszarze Data Engineering.
• Bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość SQL i Python.
• Doświadczenie w przetwarzaniu dużych zbiorów danych z wykorzystaniem Apache Spark / PySpark.
• Znajomość procesów ETL/ELT oraz doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych.
• Znajomość architektury Data Lake/Lakehouse oraz Delta Lake.
• Doświadczenie w pracy z platformami danych w środowisku chmurowym, preferowany Azure.
• Znajomość Git oraz podstawowych praktyk DevOps i CI/CD.
• Umiejętność optymalizacji procesów przetwarzania danych i rozwiązywania problemów wydajnościowych.
• Samodzielność oraz umiejętność współpracy z zespołami technicznymi i biznesowymi.

Nice to have:

• Znajomość Unity Catalog, Databricks Workflows oraz Azure Data Factory.
• Doświadczenie w integracji danych pomiędzy środowiskami cloud i on-premise.
• Znajomość Oracle, SAS lub innych rozwiązań klasy Enterprise Data Warehouse.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość Microsoft Fabric.
• Doświadczenie z Apache Kafka lub rozwiązaniami do strumieniowego przetwarzania danych.
• Praktyczne wykorzystywanie narzędzi AI wspierających pracę developerską, np. GitHub Copilot.
• Doświadczenie w projektach realizowanych dla sektora finansowego lub ubezpieczeniowego.

• Projektowanie, tworzenie i rozwijanie procesów przetwarzania danych z wykorzystaniem Databricks.
• Budowanie i utrzymywanie pipeline'ów ETL/ELT oraz integracja danych pochodzących z różnych systemów.
• Tworzenie i optymalizacja procesów transformacji danych z wykorzystaniem Python, PySpark i SQL.
• Rozwój rozwiązań opartych na architekturze Data Lakehouse i Delta Lake.
• Praca z danymi w środowisku chmurowym oraz integracja rozwiązań cloud i on-premise.
• Monitorowanie jakości danych, wydajności i niezawodności procesów.
• Automatyzacja wdrożeń oraz rozwój procesów CI/CD.
• Współpraca z architektami, analitykami i zespołami biznesowymi przy projektowaniu nowych rozwiązań Data & Analytics.