Spark Data Lakehouse Developer

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność współtworzymy wyjątkowe rozwiązania IT i zapewniamy doświadczone osoby eksperckie, które pomagają przyspieszać cyfrową transformację.

• Minimum 4 lata praktycznego doświadczenia w środowiskach produkcyjnych z wykorzystaniem Apache Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).
• Doświadczenie w pracy z bazą MongoDB (odczyt/zapis danych, modelowanie dokumentowe, indeksowanie).
• Praktyczna znajomość architektury Data Lakehouse, w tym zarządzanie tabelami wersjonowanymi z wykorzystaniem Apache Iceberg (lub gotowość do migracji kompetencji z Delta Lake / Hudi).
• Biegłość w językach Python oraz SQL.
• Sprawne poruszanie się w środowisku CI/CD (automatyzacja z wykorzystaniem Jenkins) oraz biegła obsługa narzędzi wspierających (Jira, Confluence).
• Znajomość narzędzi do monitoringu, metryk i logów (Prometheus, Grafana).

• Projektowanie i implementacja procesów (Spark-SQL / PySpark) do porównywania danych w warstwie ODS (MongoDB) z systemami źródłowymi.
• Kompleksowa budowa, wersjonowanie i utrzymanie warstw danych w architekturze Data Lakehouse (raw → bronze → silver → gold) z wykorzystaniem technologii takich jak Apache Iceberg, Delta Lake lub Hudi.
• Integracja środowiska Spark z MongoDB z wykorzystaniem dedykowanego konektora (optymalizacja odczytów i zapisów, schema inference, partitioning).
• Wdrażanie reguł Data Quality, wykrywanie duplikatów, braków i anomalii oraz generowanie alertów jakościowych.
• Tuning wydajnościowy procesów Spark (m.in. caching, broadcast joins, Adaptive Query Execution) oraz optymalizacja kosztowa zapytań analitycznych.
• Automatyzacja deploymentów (Docker, Kubernetes, Spark Operator, Jenkins) oraz rozwój i konfiguracja monitoringu aplikacji (Prometheus, Grafana).
• Praca w metodyce Agile (Scrum/Kanban) oraz pełnienie roli mentora dla Data Engineerów i analityków.