Spark / Data Lakehouse Developer

140 - 175 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WrocławFull-time·B2B

#479816·Dodano 2 dni temu·0

Źródło: nofluffjobs.com

Aplikuj szybko

Tech Stack / Keywords

Apache Spark PySpark Spark MongoDB Apache CI/CD Jenkins Prometheus Grafana Scrum Kanban Jira Confluence

Podsumowanie oferty

Dołączysz do zespołu Data Platform realizującego projekt dla klienta z sektora finansowego. Będziesz rozwijać rozwiązania rekoncyliacji danych w warstwie ODS oraz budować środowisko Data Lakehouse, korzystając z Apache Spark, MongoDB i Apache Iceberg.

Wymagania

Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych.
Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming.
Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector.
Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów.
Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń.
Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana.
Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.

Obowiązki

Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
Synchronizacja danych z systemami źródłowymi.
Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold).

Benefity

Możliwość pracy zdalnej.
Elastyczny czas pracy.
Spotkania integracyjne.

Elastyczne godziny

Spotkania integracyjne

Inne informacje

Wizyta w biurze we Wrocławiu raz w miesiącu.

Ideamotive

254 aktywne oferty

Zobacz wszystkie oferty

Aplikuj szybko