Antal

Lead Software Engineer

Brak informacji o wynagrodzeniu

SeniorHybryda·KrakówFull-time·B2B

#428735·Dodano dwa miesiące temu·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Apache PySpark Spark Python Big Data

Podsumowanie oferty

As a Lead Software Engineer, you will design and implement data processing and management processes using PySpark and Apache Iceberg. You will optimize performance and costs related to data platform operations, maintain production environments, and collaborate with architectural and governance teams to deliver scalable and secure solutions. Mentoring and actively participating in technical decision-making are also key parts of the role.

Wymagania

Strong practical knowledge of PySpark, including DataFrame API, performance optimization, debugging, and Spark job tuning.
Hands-on experience with Apache Iceberg, covering optimization techniques (partitioning, file organization, read/write performance), internal architecture (snapshots, manifests, metadata files, schema and partition evolution), and automating maintenance operations in production environments (data compaction, obsolete snapshot removal, metadata cleanup, orphan file deletion).
Solid software engineering foundations: designing reliable and maintainable systems, writing clear and testable code, and strong problem-solving skills.
Experience in maintaining production data processing environments with ownership attitude towards incident handling, root cause analysis, and stabilization.
Effective teamwork skills, excellent communication, and ability to influence decisions in an international environment.
Self-reliance, initiative, responsibility for the full delivery lifecycle, and good work organization.
Very good command of English, both spoken and written.

Obowiązki

Analyze and gather functional and non-functional requirements for current deployments and long-term platform development.
Lead design and implementation of data processing and table management processes using PySpark and Apache Iceberg.
Optimize performance and costs associated with Apache Iceberg usage, including partitioning strategies, file sizing, data clustering, and query efficiency.
Maintain and develop administrative operations in Apache Iceberg, including data compaction, snapshot and metadata management, orphan file removal, and automate these processes.
Utilize in-depth knowledge of internal Apache Iceberg architecture to troubleshoot and improve platform functionality.
Promote high engineering standards via code reviews, test automation, CI/CD practices, monitoring, and production readiness.
Support services and datasets maintained by the team, including participation in production on-call duties when needed.
Mentor and support less experienced engineers and actively engage in technical discussions and design decisions.
Collaborate with architectural, platform, and governance teams to ensure secure, scalable, and compliant solutions.

Benefity

Work in an international environment at one of the world's largest financial institutions.
Involvement in strategic projects related to data platforms, analytics, and modern Big Data technologies.
Collaboration with global expert teams from Poland, the UK, India, and China.
Real impact on the architecture, development, and technological direction of business platforms.
Opportunity to work with modern technology stack, including Apache Iceberg, PySpark, and cloud solutions.
Culture based on collaboration, knowledge sharing, and high engineering standards.
Flexible hybrid work model.
Comprehensive benefits package, including private healthcare, life insurance, and sport card.
Competitive remuneration and stable employment in a global organization.

Elastyczne godziny

Opieka zdrowotna

Ubezpieczenie

Karta sportowa

Inne informacje

Informujemy, że administratorem danych jest Antal Sp. z o.o. z siedzibą we Wrocławiu, ul. Gwiaździsta 66, (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

Antal

838 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz