Data Engineer Scala/Spark

DAC.digital is expanding business and strengthening its market position through a strategic partnership with a leading provider of financial market infrastructure.

• Strong experience with Scala and Apache Spark for distributed data processing solutions
• Hands-on experience with Databricks and Zeppelin Notebooks in data engineering and analytics
• Proficiency in leveraging Google Cloud Platform services
• Advanced SQL knowledge for complex querying and performance tuning
• Experience building, scheduling, and monitoring ETL pipelines using Apache Airflow
• Practical knowledge of Jira and Confluence for agile delivery and documentation
• English language proficiency at minimum B2 level
• Experience working in agile methodologies such as Scrum and Kanban
• High communication skills
• Eager to learn and share knowledge

Nice to have:

• Knowledge of Oracle
• Understanding of Informatica (for analysis purposes only)

• Design, develop, and maintain scalable data processing solutions using Scala and Apache Spark
• Build and optimize data pipelines and ETL workflows on Google Cloud Platform
• Develop and maintain data engineering solutions using Databricks and Zeppelin Notebooks
• Write, optimize, and troubleshoot complex SQL queries
• Orchestrate, schedule, and monitor data workflows using Apache Airflow
• Ensure data quality, reliability, and performance across data platforms
• Collaborate with cross-functional teams to gather requirements and deliver data-driven solutions
• Participate in code reviews, testing, and continuous improvement of data engineering best practices
• Document technical solutions and project deliverables in Confluence
• Support agile delivery processes using Jira for task management and collaboration

Informujemy, że administratorem danych jest DAC.SA z siedzibą w Gdańsku, ul. Kołobrzeska 14(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.