Data Engineer / Senior Data Engineer with Azure, Databricks and Microsoft Fabric
Tech Stack / Keywords
Firma i stanowisko
Our client is a UK financial services group operating in a highly regulated environment. The project focuses on building a modern enterprise data and analytics platform on Microsoft Azure as part of a large scale modernization program, replacing a legacy policy administration system with a SaaS solution, and migrating reporting and analytics to Databricks and Microsoft Fabric.
Wymagania
- 6+ years of experience in Data Engineering.
- Hands on experience with Azure Data Factory, Azure Databricks, and Azure Data Lake Storage Gen2.
- Strong programming experience with Python, SQL, and PySpark.
- Experience implementing Delta Lake and production lakehouse or medallion architectures.
- Experience with Git and Azure DevOps, including CI/CD pipelines for data solutions.
- Experience working with SQL Server environments.
- Practical experience using AI coding assistants within software delivery projects.
- Ability to communicate effectively in English with technical and business stakeholders.
- Experience taking ownership of architecture or platform design decisions.
- Experience reviewing code and establishing engineering standards.
- Experience gathering requirements and collaborating directly with business stakeholders.
Nice to have:
- Experience implementing Microsoft Fabric in production environments.
- Microsoft certifications including DP 203, DP 600, DP 700, AZ 900, or DP 900.
- Databricks Data Engineer Associate or Databricks Data Engineer Professional certification.
- Experience with dimensional modelling, including star schema, snowflake schema, or Data Vault.
- Experience with semantic modelling in Power BI or Microsoft Fabric.
- Knowledge of Microsoft Purview, data lineage, and metadata management.
- Experience working in regulated financial services environments.
Obowiązki
- Design and develop data ingestion pipelines from business systems into a governed cloud data platform.
- Build scalable data engineering solutions using Azure Databricks and Microsoft Fabric.
- Implement medallion architecture patterns and reusable engineering frameworks.
- Develop curated data products and analytical datasets for business reporting and decision making.
- Apply AI assisted development practices while ensuring quality, governance, and auditability.
- Contribute to data modelling, semantic models, metadata management, and analytical solutions.
- Support the migration of reporting and analytics workloads from legacy platforms.
- Collaborate with stakeholders to translate business requirements into technical solutions.
- Provide design guidance, establish engineering standards, and participate in code reviews.
Benefity
- Up to 26 business vacation days per year.
- 10 illness/special days off per year (fully paid, no medical papers needed) for all contract types.
- Health and life insurance (Luxmed).
- MyBenefit platform with Multisport option.
- Internal psychological support service.
- English language classes from the first working day.
- Access to external learning platforms: O’Reilly, LinkedIn Learning, Udemy, and diverse internal training.
- Flexible workplace: work from the office, from home, or choose a hybrid option.
- Tech Skills Mentoring Program.
- Opportunities for public speaking, mentoring, or technical interviewing.
- Fully paid idle (bench) when not involved in a project.
- Certification reimbursement (AWS, GCP, Microsoft, etc.).
Inne informacje
Informujemy, że administratorem danych jest DataArt Poland Sp z o o z siedzibą w Lublinie, Ul. Zana 39 a, 20-601 Lublin (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
DataArt
26 aktywnych ofert