Spark / Data Lakehouse Developer

Poszukujemy doświadczonego inżyniera danych do zespołu Data Platform dla jednego z naszych klientów z sektora finansowego. Projekt polega na rozwijaniu zaawansowanej architektury danych. Skupisz się na projektowaniu rozwiązań rekoncyliacji danych w warstwie ODS oraz budowie nowoczesnego środowiska Data Lakehouse.

• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych
• Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming
• Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector
• Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów
• Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń
• Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana
• Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence

• Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB
• Synchronizacja danych z systemami źródłowymi
• Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi)
• Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold)

Informujemy, że administratorem danych jest Ideamotive Sp. z o. o. z siedzibą w Warszawie, ul. Złota 61/101 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.