Senior Data Engineer w/ Python

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność współtworzymy wyjątkowe rozwiązania IT i zapewniamy doświadczone osoby eksperckie, które pomagają przyspieszać cyfrową transformację.

• Minimum 5 lat komercyjnego doświadczenia w wytwarzaniu oprogramowania z fokusem na inżynierię danych.
• Zaawansowana praktyczna znajomość języka Python oraz jego bibliotek do analizy danych, szczególnie Pandas lub Polars.
• Głęboka znajomość ekosystemu Databricks i PySpark (w tym zarządzanie klastrami i orkiestracja zadań).
• Biegłość w pracy z kolumnowymi formatami danych (głównie Parquet) oraz w architekturze Delta Tables.
• Doświadczenie w migracji klasycznego SQL (procedury składowane) do środowisk Spark.
• Udokumentowane sukcesy w optymalizacji wydajności procesów Spark w środowiskach produkcyjnych.
• Znajomość architektury rozproszonej i mikrousługowej pod kątem skalowania systemów danych.
• Wysokie zdolności analityczne i umiejętność dostosowywania rozwiązań do potrzeb biznesowych.

Nice to have:

• Praktyczna znajomość ekosystemu chmury Microsoft Azure (usługi: Data Lake, Blob Storage, Service Bus, Redis).
• Znajomość narzędzi konteneryzacji i orkiestracji, jak Docker i Kubernetes.
• Doświadczenie z frameworkiem FastAPI.

• Kompleksowe projektowanie, implementacja i utrzymanie zaawansowanych aplikacji opartych na Apache Spark.
• Wyznaczanie i egzekwowanie standardów kodowania oraz najlepszych praktyk inżynierskich poprzez merytoryczny code review.
• Przekładanie procedur składowanych SQL na zoptymalizowane rozwiązania w ekosystemie PySpark/Spark SQL.
• Zapewnienie maksymalnej wydajności i skalowalności dla przetwarzanych wolumenów danych w środowisku produkcyjnym.
• Bieżąca współpraca z interdyscyplinarnym zespołem (architekci, deweloperzy, eksperci biznesowi) oraz komunikacja z klientem.
• Diagnozowanie i usuwanie technicznych wąskich gardeł w przepływach danych.
• Tworzenie i aktualizowanie dokumentacji technicznej wdrażanych rozwiązań i procesów.