Spark / Data Lakehouse Developer

Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.

• minimum 4 lata doświadczenia z Apache Spark
• bardzo dobra znajomość PySpark i Spark SQL
• doświadczenie z MongoDB i MongoDB Spark Connector
• praktyczna znajomość Apache Iceberg
• znajomość CI/CD i Jenkins
• znajomość Prometheus i Grafana
• doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence
• umiejętność optymalizacji procesów Spark
• doświadczenie w rekonsyliacji i kontroli jakości danych
• znajomość partitioningu, caching, broadcast joins i AQE
• doświadczenie w pracy z dużymi zbiorami danych
• samodzielność i analityczne podejście do rozwiązywania problemów
• umiejętność współpracy z zespołami Data, QA i DevOps

• rozwijanie rozwiązań Data Engineering związanych z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse
• budowa warstw Data Lakehouse: raw/bronze/silver/gold
• optymalizacja procesów Spark
• rekonsyliacja i kontrola jakości danych
• współpraca z zespołami Data, QA i DevOps

Informujemy, że administratorem danych jest Upvanta sp. z o.o z siedzibą w Warszawie, ul. Prosta 70_(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.