Data Engineer | Wroclaw

We are looking for a Data Engineer with strong hands-on experience in Azure Data Factory (ADF) to join a long-term project with a major international Swiss investment bank.

• 6–10 years of overall IT experience.
• 4–5 years of hands-on experience in PySpark and Python development.
• Strong understanding of data engineering principles and modern data pipeline architectures.
• Proven expertise in PySpark (Spark SQL, DataFrames, performance tuning).
• Proven expertise in Python scripting and application development.
• Proven expertise in Azure Data Factory (ADF) orchestration and pipeline development.
• Strong knowledge of data optimization techniques, including partitioning, caching, joins, and query optimization.
• Experience working with large-scale distributed data processing systems.
• Strong analytical and problem-solving skills.
• Good understanding of SQL, database concepts, and data modeling.

Nice-to-Have:

• Hands-on experience with Azure Databricks (ADB).
• Exposure to cloud technologies, preferably Microsoft Azure.
• Experience with CI/CD pipelines and DevOps practices for data engineering.
• Knowledge of Data Lake and Lakehouse architectures.
• Familiarity with modern data governance and monitoring practices.

• Design, develop, and maintain scalable data pipelines using PySpark and Python.
• Build and optimize ETL/ELT workflows for processing large volumes of data.
• Write efficient, reusable, and high-performance code with a strong focus on optimization.
• Process and manage structured and unstructured data from multiple sources.
• Implement best practices related to data engineering, performance tuning, and code quality.
• Develop, orchestrate, and monitor data workflows using Azure Data Factory (ADF).
• Collaborate with Data Scientists, Data Analysts, Solution Architects, and other stakeholders.
• Ensure data quality, reliability, and integrity across all data platforms.
• Troubleshoot and resolve performance bottlenecks in data processing pipelines.
• Contribute to data architecture discussions and continuous improvement initiatives.

Informujemy, że administratorem danych jest z siedzibą w , ul.(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.