Ideamotive

Spark / Data Lakehouse Developer

1400 PLN/ dzień./ dzień.B2BB2B (netto)

MidHybryda·WrocławFull-time·B2B

#468896·Dodano 7 dni temu·0

Źródło: Ideamotive

Aplikuj teraz

Tech Stack / Keywords

Apache Spark PySparkSpark-SQLMongoDBApache IcebergDelta LakeHudiJenkins Prometheus Grafana

Podsumowanie oferty

Dołączysz do zespołu Data Platform i będziesz rozwijać zaawansowaną architekturę danych dla klienta z sektora finansowego. Główne zadania obejmują projektowanie rekoncyliacji danych w warstwie ODS oraz budowę środowiska Data Lakehouse z wykorzystaniem Apache Spark i technologii jezior danych.

Wymagania

Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych.
Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming.
Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector.
Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów.
Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń.
Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana.
Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.

Obowiązki

Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
Synchronizacja danych z systemami źródłowymi.
Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold).

Inne informacje

Wymagana wizyta w biurze we Wrocławiu 1 dzień w miesiącu.

Ideamotive

167 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz