B2Bnetwork

Spark / Data Lakehouse Developer (k/m/x)

Brak informacji o wynagrodzeniu

MidZdalnie·WrocławFull-time·B2B

#469810·Dodano 18 dni temu·4

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Apache SparkSpark SQLDataFramesApache IcebergMongoDB Python Jenkins Prometheus Grafana

Podsumowanie oferty

Rozwój procesów przetwarzania danych w architekturze Data Lakehouse w zespole Data Platform. Praca obejmuje rekoncyliację i przetwarzanie danych z wykorzystaniem Spark SQL, PySpark oraz Apache Iceberg.

Wymagania

Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames.
Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse.
Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark.
Umiejętność programowania w Pythonie w kontekście przetwarzania danych.
Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins.
Znajomość narzędzi monitoringu Prometheus i Grafana w kontekście diagnozowania procesów danych.
Doświadczenie w pracy w metodyce Scrum.

Mile widziane:

Znajomość MongoDB Spark Connector.
Doświadczenie w przetwarzaniu strumieniowym (Structured Streaming).
Znajomość Delta Lake.
Znajomość Apache Hudi.
Doświadczenie w pracy w metodyce Kanban.
Znajomość Jira.
Znajomość Confluence.

Obowiązki

Projektowanie i implementacja procesów w Spark SQL / PySpark.
Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi.
Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii.
Integracja Apache Spark z MongoDB.
Budowa i rozwój warstw Data Lakehouse.
Optymalizacja wydajności procesów Spark.
Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych.

Benefity

Prywatna opieka medyczna.
Dofinansowanie zajęć sportowych.
Wsparcie formalne od dokumentów po onboarding.

Opieka zdrowotna

Karta sportowa

Inne informacje

Proces rekrutacyjny obejmuje rozmowę z rekruterem, rozmowę techniczną i rozmowę z klientem.

B2Bnetwork

171 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz