Senior/Lead Data Engineer

We are looking for a Data Engineer to join the Data Platform team of a global mining organisation, working on a modern Azure-native data infrastructure. The team handles data ingestion from numerous operational sources and transforms it into analytics-ready datasets used across finance, operations, and supply chain.

• 4+ years of experience in data engineering or a related software engineering role.
• Strong analytical and communication skills.
• Hands-on experience with Azure Data Factory (authoring pipelines, triggers, linked services, data flows).
• Solid experience with Azure Synapse Analytics (SQL pools, Synapse Pipelines) and integration with ADLS Gen2.
• Proven experience with Databricks, including PySpark, Delta Lake, job clusters; familiarity with Unity Catalog is a plus.
• Strong API extraction skills for REST and SOAP endpoints, including complex authentication and error handling.
• Proficiency in SQL (T-SQL or Spark SQL) and Python for data manipulation and pipeline scripting.
• Familiarity with data modelling concepts such as star/snowflake schemas, data vault, or medallion architecture.
• Experience with Azure DevOps for source control (Git), CI/CD pipelines, and automated deployments.
• Understanding of data security, role-based access control (RBAC), and encryption in Azure.
• Problem-solving mindset and ability to work autonomously in a distributed team environment.

Nice to have:

• Experience with Azure Purview for data cataloguing and governance.
• Knowledge of streaming data patterns (Azure Event Hubs, Kafka, Spark Streaming).
• Familiarity with dbt or similar SQL-based transformation frameworks.
• Background in mining, heavy industry, or operational technology (OT) data environments.
• Awareness of Power Platform for understanding downstream consumers.

• Gather and analyse business requirements to identify and prioritise integration opportunities.
• Design, build, and maintain scalable data pipelines using Azure Data Factory to orchestrate ingestion from diverse source systems.
• Develop and optimise data transformation logic and analytical workloads in Azure Synapse Analytics (dedicated and serverless SQL pools, Synapse Pipelines).
• Build and maintain Databricks notebooks and jobs (PySpark / Spark SQL) for large-scale data processing and feature engineering.
• Implement robust API extraction patterns — REST and SOAP — handling pagination, authentication (OAuth 2.0, API keys), rate limiting, and error recovery.
• Design and maintain the lakehouse architecture using Azure Data Lake Storage Gen2.
• Ensure data quality through validation frameworks, monitoring, alerting, and documentation of lineage.
• Collaborate with Analytics Engineers and data consumers to understand downstream requirements and model data accordingly.
• Apply best practices for CI/CD, infrastructure-as-code using tools like Azure DevOps, Terraform, and Bicep.
• Participate in data governance activities including metadata management, access control, and documentation.

Informujemy, że administratorem danych jest N-iX z siedzibą w Krakowie, Krowoderska 63B/6 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.