Data Lakehouse Developer

We are part of an international organization listed on Nasdaq Stockholm, operating in 11 countries. In Poland, we work with full autonomy, choosing our own technologies, processes, and working methods while maintaining high professional standards. We deliver IT projects both domestically and internationally across various domains and technologies, supporting professional growth aligned with personal ambitions. Our collaboration is based on the CARE philosophy, emphasizing responsible project matching, transparent cooperation, and long-term professional development.

• 4+ years of hands-on production experience in data engineering.
• Strong proficiency in Python, PySpark, Spark-SQL, DataFrames, and Structured Streaming.
• Proven experience with MongoDB (Spark Connector, indexing) and Apache Iceberg (table versioning, upserts/merges).
• Hands-on background in CI/CD automation (Jenkins) and containerized deployments on Kubernetes.
• Must live in Poland and/or be eligible to work there.

• Data Lakehouse & Architecture: Design and maintain versioned data layers (Bronze, Silver, Gold) using Apache Iceberg, Delta Lake, or Apache Hudi, including CI/CD for schema evolution.
• Spark & MongoDB Integration: Build PySpark/Spark-SQL pipelines for data reconciliation between MongoDB and source systems, optimizing reads using partitioning and match push-down.
• Performance & Cost Tuning: Optimize Spark jobs (AQE, caching, broadcast joins) to lower latency and minimize Data Lakehouse processing costs.
• Quality, Monitoring & SLAs: Implement automated data quality checks, SLA/SLO tracking, and distributed monitoring for batch/streaming pipelines using Prometheus, Grafana, and Dynatrace.
• Kubernetes & Automation: Automate Spark application deployments on Kubernetes using Docker, Spark Operator, and CI/CD pipelines.
• Delivery & Collaboration: Diagnose data discrepancies, maintain technical runbooks, conduct code reviews, and collaborate in Agile teams (Scrum/Kanban).

Informujemy, że administratorem danych jest B3 Consulting Poland z siedzibą w Warszawie, ul. Al. Jerozolimskie 44 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.