Lead Data Engineer (Python | PySpark | Databricks)

Senior Data Engineer role focused on strategic planning and implementation of data architecture and production pipelines. The position involves optimizing modern data stack technologies and supporting team development within a consulting IT context. The engagement is full-time, long-term, and fully remote.

• Minimum 5 lat doświadczenia w inżynierii danych, łączącego projektowanie rozwiązań z ich samodzielnym wdrażaniem
• Ekspercka znajomość Python: pisanie czystego, modułowego kodu gotowego na środowiska produkcyjne
• Silne doświadczenie z PySpark oraz systemami rozproszonego przetwarzania danych (np. Databricks, Spark)
• Głębokie zrozumienie i praktyka w projektowaniu struktur typu Data Lake, Lakehouse oraz Medallion Architecture
• Praktyczna znajomość usług danych w chmurze (AWS, Azure lub GCP)
• Doświadczenie z narzędziami do orkiestracji (np. Apache Airflow, Prefect) oraz zaawansowany SQL (bazy relacyjne i NoSQL)
• Dobre zrozumienie praktyk CI/CD, kontroli wersji (Git) i automatyzacji pipeline'ów
• Komunikatywny angielski w mowie i piśmie (poziom B2+)

Nice to have:

• Zaawansowana znajomość Databricks (Delta Lake, MLflow, optymalizacja wydajności)
• Znajomość technik modelowania danych (modele dymensjonalne i znormalizowane) oraz frameworków Data Governance
• Orientacja w pipeline'ach dla Data Science / Machine Learning

Projektowanie i architektura:

• Tworzenie skalowalnych, niezawodnych i efektywnych kosztowo platform oraz pipeline'ów danych dopasowanych do potrzeb biznesu

Wdrożenie (Hands-on):

• Budowanie i optymalizacja zaawansowanych procesów przetwarzania danych strukturyzowanych i niestrukturyzowanych (end-to-end: od ingestii po warstwę konsumpcyjną)

Standardy i jakość:

• Wyznaczanie standardów architektonicznych, dbanie o Data Quality, bezpieczeństwo (Security & Compliance) oraz najlepsze praktyki w zespole

Liderstwo techniczne:

• Mentoring młodszych inżynierów, wsparcie techniczne dla cross-funkcjonalnych zespołów oraz przekładanie wymagań biznesowych na architekturę IT

• Rozwiązywanie krytycznych incydentów produkcyjnych i zapewnianie wysokiej dostępności systemów danych