Senior Data Engineer

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność współtworzymy wyjątkowe rozwiązania IT i zapewniamy doświadczone osoby eksperckie, które pomagają przyspieszać cyfrową transformację.

• Minimum 5 lat komercyjnego doświadczenia w wytwarzaniu oprogramowania z wyraźnym fokusem na inżynierię danych.
• Zaawansowana praktyczna znajomość języka Python i jego bibliotek do przetwarzania i analizy danych, szczególnie Pandas lub Polars.
• Głęboka znajomość ekosystemu Databricks i PySpark (w tym zarządzanie klastrami i orkiestracja zadań).
• Biegłość w pracy z kolumnowymi formatami zapisu danych, głównie Parquet, oraz w architekturze Delta Tables.
• Doświadczenie w migracji klasycznego SQL (stored procedures) do środowisk Sparkowych.
• Udokumentowane sukcesy w optymalizacji wydajności procesów Spark w środowiskach produkcyjnych.
• Zrozumienie architektury rozproszonej i mikrousługowej z perspektywy skalowania systemów danych.
• Najwyższe zdolności analityczne i umiejętność tworzenia elastycznych rozwiązań dopasowanych do potrzeb biznesowych.

Nice to have:

• Praktyczna znajomość ekosystemu chmury Microsoft Azure (m.in. Data Lake, Blob Storage, Service Bus, Redis).
• Znajomość narzędzi do konteneryzacji i zarządzania aplikacjami: Docker, Kubernetes.
• Doświadczenie z frameworkiem FastAPI.

• Kompleksowe projektowanie, implementacja i utrzymanie zaawansowanych aplikacji opartych na Apache Spark.
• Wyznaczanie i egzekwowanie standardów kodowania oraz najlepszych praktyk inżynierskich poprzez merytoryczny code review.
• Przekładanie procedur składowanych SQL na nowoczesne, zoptymalizowane rozwiązania w ekosystemie PySpark/Spark SQL.
• Zapewnienie maksymalnej wydajności i skalowalności dla przetwarzanych wolumenów danych w środowisku produkcyjnym.
• Bieżąca ścisła współpraca z interdyscyplinarnym zespołem (architekci, deweloperzy, eksperci biznesowi) oraz bezpośrednia komunikacja z klientem.
• Diagnozowanie i usuwanie technicznych wąskich gardeł w przepływach danych.
• Tworzenie i aktualizowanie dokumentacji technicznej dla wdrażanych rozwiązań i procesów.

Informujemy, że administratorem danych jest IT Leasing Team z siedzibą w Warszawie, ul.Taśmowa 7 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.