Databricks Data Engineer

Devapo focuses on continuous self-development and acquiring new knowledge. The company engages in international projects, aiming to provide clients with tools that allow their businesses to flourish, with a long-term goal orientation.

• Minimum 3 years of experience in a Data Engineer role or similar position
• Strong knowledge of Azure data services (Azure Data Factory, Azure Synapse Analytics, Azure Data Lake)
• Extensive experience with Databricks and Apache Spark
• Proficiency in SQL and experience with relational databases
• Experience in creating and optimizing data pipelines (ETL/ELT) in cloud environments
• Strong programming skills in Python, Scala, or Java
• Experience with Delta Lake architecture and optimization techniques
• Knowledge of data modeling and schema design

Nice to have:

• Experience with Azure DevOps and CI/CD pipelines for data solutions
• Knowledge of Databricks Delta Live Tables and Databricks workflows
• Experience with real-time data processing using Azure Event Hubs or Kafka
• Familiarity with Azure Purview or other data governance tools
• Databricks or Azure certifications
• Experience with Power BI or other visualization tools
• Knowledge of infrastructure as code (Terraform, ARM templates)

• Design, implement, and maintain scalable and efficient data pipelines in Azure and Databricks
• Develop and optimize ETL processes using Azure Data Factory and Databricks
• Build Big Data solutions aligned with business requirements
• Collaborate with Data Science, BI, and development teams to ensure high-quality data
• Monitor performance of data processing systems and implement improvements
• Implement data security standards and practices
• Research and evaluate new technologies in the data engineering space

Informujemy, że administratorem danych jest Devapo Sp. z o. o. z siedzibą w Warszawie, al. Jerozolimskie 100 (dalej jako "Administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.