Lead Software Engineer

The role is within the Data Platform / Analytics IT team at Antal Sp. z o.o., focusing on Apache Iceberg technology. The position is based in Kraków with a hybrid work model (6 days per month in office) and involves working on strategic projects related to data platforms, analytics, and Big Data technologies for one of the largest financial institutions globally.

• Strong practical knowledge of PySpark, including DataFrame API, performance optimization, debugging, and Spark job tuning.
• Hands-on experience with Apache Iceberg, covering optimization techniques (partitioning, file organization, read/write performance), internal architecture (snapshots, manifests, metadata files, schema and partition evolution), and automating maintenance operations in production environments (data compaction, obsolete snapshot removal, metadata cleanup, orphan file deletion).
• Solid software engineering foundations: designing reliable and maintainable systems, writing clear and testable code, and strong problem-solving skills.
• Experience in maintaining production data processing environments with ownership attitude towards incident handling, root cause analysis, and stabilization.
• Effective teamwork skills, excellent communication, and ability to influence decisions in an international environment.
• Self-reliance, initiative, responsibility for the full delivery lifecycle, and good work organization.
• Very good command of English, both spoken and written.

• Analyze and gather functional and non-functional requirements for current deployments and long-term platform development.
• Lead design and implementation of data processing and table management processes using PySpark and Apache Iceberg.
• Optimize performance and costs associated with Apache Iceberg usage, including partitioning strategies, file sizing, data clustering, and query efficiency.
• Maintain and develop administrative operations in Apache Iceberg, including data compaction, snapshot and metadata management, orphan file removal, and automate these processes.
• Utilize in-depth knowledge of internal Apache Iceberg architecture to troubleshoot and improve platform functionality.
• Promote high engineering standards via code reviews, test automation, CI/CD practices, monitoring, and production readiness.
• Support services and datasets maintained by the team, including participation in production on-call duties when needed.
• Mentor and support less experienced engineers and actively engage in technical discussions and design decisions.
• Collaborate with architectural, platform, and governance teams to ensure secure, scalable, and compliant solutions.

Informujemy, że administratorem danych jest Antal Sp. z o.o. z siedzibą we Wrocławiu, ul. Gwiaździsta 66, (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.