Data Engineer with DataBricks

Client is a premier home improvement company, boasting a network of over 2,000 stores across eight European countries. You'll be part of an organization that values innovation and teamwork, where you contribute to the company's success, not just a single project.

• Proven experience as a Data Engineer in a professional, production environment
• Strong programming skills in Python and solid understanding of ETL processes
• Advanced proficiency in SQL and experience working with large datasets
• Hands-on experience with Azure Databricks and Azure Data Factory (ADF)
• Solid understanding of data modeling, data warehousing concepts, and performance tuning
• Strong expertise in Databricks, including Delta Tables and Delta Live Tables
• Advanced programming skills in Python and PySpark
• Experience with Unity Catalog
• Proficiency in dbt (Data Build Tool)
• Solid knowledge of Medallion Architecture

Nice to have:

• Experience with data governance and data cataloging tools
• Familiarity with CI/CD practices and version control systems (Git)
• Understanding of data security and privacy best practices
• Experience with additional cloud services or platforms

• Design, build, and maintain ETL processes, transforming raw data into actionable insights
• Manage and optimize large-scale data pipelines, ensuring data quality and integrity
• Develop and optimize SQL queries for efficient data extraction, transformation, and analysis
• Collaborate with cross-functional teams to understand data requirements and implement effective data solutions
• Utilize Python and PySpark for data engineering tasks, including scripting and automation
• Leverage Azure Databricks for advanced data processing and analytics
• Monitor, troubleshoot, and optimize data workflows to ensure high performance and reliability

Informujemy, że administratorem danych jest DataArt Poland Sp z o o z siedzibą w Lublinie, Ul. Zana 39 a, 20-601 Lublin (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.