Data Engineer (Databricks)

Dla naszego Klienta poszukujemy doświadczonej osoby w roli Senior Data Engineer do długofalowego projektu związanego z transformacją platformy danych w międzynarodowym środowisku ubezpieczeniowym. Projekt koncentruje się na migracji rozwiązań opartych o SQL Server do nowoczesnej platformy Databricks oraz budowie skalowalnych procesów data engineeringowych w środowisku cloud.

• Bardzo dobra znajomość Python oraz PySpark.
• Doświadczenie w pracy z Databricks oraz Delta Lake.
• Bardzo dobra znajomość SQL i umiejętność analizy złożonej logiki bazodanowej.
• Doświadczenie w projektach data engineeringowych.
• Znajomość zasad clean code oraz OOP.
• Doświadczenie w pracy z dużymi repozytoriami kodu.
• Doświadczenie w modelowaniu danych.
• Bardzo dobra znajomość języka angielskiego.

Nice to have:

• Doświadczenie z Azure Data Factory.
• Znajomość CI/CD oraz Azure DevOps.
• Doświadczenie z narzędziami analitycznymi.
• Znajomość zagadnień DevOps lub infrastrukturalnych.

• Analiza oraz refaktoryzacja złożonej logiki SQL (stored procedures).
• Implementacja transformacji danych w Python oraz PySpark.
• Projektowanie i rozwój modeli danych w architekturze Medallion (Bronze / Silver / Gold).
• Tworzenie skalowalnych procesów transformacji danych w środowisku Databricks.
• Dbanie o jakość kodu, jego modularność oraz utrzymywalność.
• Udział w code review oraz decyzjach architektonicznych.
• Praca z dużymi wolumenami danych w środowisku enterprise.