Lead Software Engineer (Data Platform / Analytics IT – Apache Iceberg)

Praca w międzynarodowym środowisku jednej z największych instytucji finansowych na świecie. Udział w strategicznych projektach związanych z platformami danych, analityką i nowoczesnymi technologiami Big Data. Współpraca z globalnymi zespołami ekspertów z Polski, Wielkiej Brytanii, Indii i Chin.

• Bardzo dobra praktyczna znajomość PySpark, w tym DataFrame API, optymalizacji wydajności, debugowania oraz optymalizacji zadań Spark.
• Praktyczne doświadczenie z Apache Iceberg, obejmujące optymalizację (partycjonowanie, organizacja i rozmiar plików, operacje odczytu i zapisu), znajomość architektury (snapshoty, manifesty, pliki metadanych, ewolucja schematów i partycji) oraz automatyzację operacji utrzymaniowych w produkcji.
• Silne podstawy inżynierii oprogramowania z umiejętnością projektowania niezawodnych systemów oraz pisania czytelnego i testowalnego kodu.
• Doświadczenie w utrzymaniu środowisk produkcyjnych przetwarzania danych z odpowiedzialnym podejściem do incydentów i analizy przyczyn.
• Umiejętność efektywnej pracy zespołowej oraz dobre zdolności komunikacyjne w międzynarodowym środowisku.
• Samodzielność, inicjatywa, odpowiedzialność za pełny cykl dostarczania rozwiązań oraz dobra organizacja pracy.
• Bardzo dobra znajomość języka angielskiego w mowie i piśmie.

• Analiza i zbieranie wymagań funkcjonalnych oraz niefunkcjonalnych dla wdrożeń i rozwoju platformy.
• Projektowanie i wdrażanie procesów przetwarzania danych z użyciem PySpark i Apache Iceberg.
• Optymalizacja wydajności i kosztów związanych z Apache Iceberg (partycjonowanie, rozmiar plików, klastrowanie, efektywność zapytań).
• Utrzymanie i rozwój operacji administracyjnych w Apache Iceberg (kompakcja danych, zarządzanie snapshotami i metadanymi, usuwanie osieroconych plików) oraz automatyzacja tych procesów.
• Rozwiązywanie problemów i usprawnianie działania platformy bazując na dogłębnej znajomości architektury Apache Iceberg.
• Promowanie wysokich standardów inżynierskich poprzez code review, automatyzację testów, CI/CD, monitoring i gotowość produkcyjną.
• Wsparcie usług i zbiorów danych, udział w dyżurach produkcyjnych.
• Mentoring i wsparcie mniej doświadczonych inżynierów oraz aktywny udział w decyzjach projektowych.
• Współpraca z zespołami architektonicznymi, platformowymi i governance w celu zapewnienia bezpiecznych i skalowalnych rozwiązań.