Spark / Data Lakehouse Developer (m/k/n)

Projekt realizowany w ramach zespołu Data Platform. Aktualne prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem formatu tabel Apache Iceberg.

• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames
• Praktyczne doświadczenie z Apache Iceberg, w tym znajomość tabel wersjonowanych oraz operacji upsert/merge
• Doświadczenie z MongoDB (MongoDB Spark Connector nie jest wymagany)
• Znajomość Python / PySpark
• Doświadczenie w tworzeniu procesów rekoncyliacji i przetwarzania danych
• Doświadczenie z Jenkins
• Znajomość Prometheus i Grafana
• Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence

• Projektowanie i implementacja procesów w Spark SQL / PySpark
• Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi
• Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii
• Integracja Apache Spark z MongoDB
• Budowa i rozwój warstw Data Lakehouse
• Optymalizacja wydajności procesów Spark
• Rozwój CI/CD dla aplikacji i procesów danych
• Monitoring procesów oraz diagnozowanie problemów produkcyjnych
• Tworzenie dokumentacji technicznej i udział w code review

Informujemy, że administratorem danych jest B2B.net S.A. z siedzibą w Lidzbarku, ul. Wielki Łęck 81A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.