Spark / Data Lakehouse Developer (k/m/x)

• Minimum 4 years of practical experience with Apache Spark in production environments
• Strong knowledge of PySpark, Spark SQL, DataFrames, Structured Streaming
• Experience with MongoDB and MongoDB Spark Connector
• Practical knowledge of Apache Iceberg, including versioned tables and upsert/merge operations
• Knowledge of Python
• Experience with Jenkins
• Familiarity with Prometheus and Grafana
• Experience working in Agile methodologies such as Scrum or Kanban, and using Jira/Confluence

• Designing and implementing data processing and reconciliation processes using Apache Spark
• Creating solutions with PySpark and Spark SQL and implementing data quality rules
• Integrating Spark processes with MongoDB
• Building and developing Data Lakehouse layers based on Apache Iceberg
• Optimizing performance of Spark processes and queries
• Developing CI/CD mechanisms and automating deployments
• Monitoring data processing pipelines and diagnosing production issues
• Collaborating with technical teams and participating in code reviews

Informujemy, że administratorem danych jest B2B.net S.A. z siedzibą w Lidzbarku, ul. Wielki Łęck 81A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.