Data Architect - Databricks

The project focuses on a major data warehouse platform within the Lufthansa Group, processing data related to bookings, tickets, customers, contracts, loyalty programs, and flight schedules. The team is migrating from Teradata to Databricks to build a modern, scalable data platform and follows Agile principles emphasizing collaboration and development.

• 5+ years of professional experience in Data Engineering, Data Architecture, or Data Warehousing.
• Strong experience with SQL and procedural database languages (e.g., T-SQL, PL/SQL).
• Experience designing and implementing scalable data solutions and architectures.
• Hands-on experience with Databricks and modern data platforms.
• Good knowledge of PySpark and Python (Pandas, NumPy).
• Experience in database optimization, performance tuning, partitioning, and index/statistics management.
• Understanding of data modelling principles and data integration patterns.
• Experience with version control systems (e.g., Git).
• Strong ownership and commitment to delivering high-quality solutions.
• Motivation to learn and make an impact on the team and products.
• Genuine interest in data engineering with a proactive approach to new technologies.
• Good command of spoken and written English (B2/C1).
• Strong analytical, problem-solving, and communication skills.
• Experience with cloud-based data platforms.
• Availability to work from the Gdańsk office 2 days per week.

Nice to have:

• Experience with large-scale data migration projects.
• Knowledge of Teradata.
• Knowledge of UNIX/LINUX systems.
• Familiarity with Agile/Scrum methodologies.
• Experience with Data Governance or Data Quality frameworks.
• Experience creating functional documentation.
• Good command of spoken and written Polish.

• Translate business requirements into scalable and sustainable data solutions.
• Design data architectures, data models, and integration patterns for business needs.
• Support architectural decision-making and provide technical guidance.
• Analyze current solutions and recommend improvements for migration from Teradata to Databricks.
• Design, develop, and improve data processing solutions and pipelines.
• Collaborate with business stakeholders to define requirements and prepare Proofs of Concept.
• Ensure solution quality, performance, scalability, and maintainability.
• Prepare technical documentation, effort estimations, and architectural recommendations.
• Continuously improve technical standards and best practices within the team.

Informujemy, że administratorem danych jest Lufthansa Systems Poland Sp. z o.o. z siedzibą w Gdańsku, ul. Grunwaldzka 415 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.