Spark / Data Lakehouse Developer

Brak informacji o wynagrodzeniu

MidHybryda·WrocławFull-time·B2B

#473782·Dodano wczoraj·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Apache Spark PySparkSpark SQLDataFramesMongoDB Python

Podsumowanie oferty

W projekcie dla klienta będziesz rozwijać rozwiązania Data Lakehouse i rekonsyliować dane w warstwie ODS. Będziesz projektować procesy przetwarzania danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, integrując je z MongoDB.

Wymagania

Wymagania:

Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowisku produkcyjnym.
Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming.
Doświadczenie z MongoDB oraz MongoDB Spark Connector.
Praktyczna znajomość Apache Iceberg.
Znajomość Python i Spark SQL.
Doświadczenie w pracy z Jenkins i procesami CI/CD dla aplikacji Spark.
Znajomość Prometheus i Grafana.
Doświadczenie w pracy w Scrum lub Kanban oraz znajomość Jira i Confluence.

Obowiązki

Zakres współpracy:

Projektowanie i implementacja procesów rekonsyliacji danych z wykorzystaniem Spark SQL i PySpark.
Porównywanie danych z MongoDB z systemami źródłowymi oraz budowanie reguł jakości danych.
Integracja Spark z MongoDB i optymalizacja procesów odczytu i zapisu.
Budowa i rozwój warstw Raw/Bronze/Silver/Gold w architekturze Data Lakehouse.
Praca z Apache Iceberg oraz wersjonowaniem i migracją danych.
Optymalizacja wydajności i kosztów przetwarzania danych w Spark.
Konfiguracja monitoringu i observability procesów danych.
Automatyzacja deploymentów Spark oraz wsparcie procesów CI/CD.
Diagnozowanie problemów z danymi i utrzymanie dokumentacji technicznej.
Współpraca z zespołami Data Engineering, Business Analysis, QA i DevOps oraz udział w code review i warsztatach.

Inne informacje

Przewidziane są spotkania projektowe w biurze raz w miesiącu.

ALGOTEQUE SERVICES sp. z o.o.

33 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz