Data Engineer – Azure Databricks

Cyclad współpracuje z czołowymi firmami z branży IT, wspierając je w realizacji nowoczesnych projektów technologicznych.

• min. 2 lat doświadczenia z Microsoft Azure
• praktyczna znajomość Azure Databricks, Azure Data Factory i Azure DevOps
• bardzo dobra znajomość Pythona i PySpark
• dobra znajomość SQL, modelowania danych i procesów ETL/ELT
• doświadczenie z CI/CD, testami automatycznymi i TDD
• znajomość zagadnień data quality, data governance i data integration
• doświadczenie w pracy w środowisku DevOps i Agile/Scrum
• bardzo dobra znajomość języka angielskiego

Nice to have:

• Infrastructure as Code
• Azure Synapse Analytics
• ServiceNow i procesy change/incident management
• doświadczenie z hurtowniami danych lub Big Data

• budowa i optymalizacja pipeline’ów danych oraz procesów ETL/ELT
• przetwarzanie danych przy użyciu Pythona i PySpark
• rozwijanie rozwiązań opartych na Azure Databricks, Data Factory i Azure Storage
• wdrażanie testów automatycznych, kontroli jakości danych i monitoringu
• udział w procesach CI/CD i automatyzacji wdrożeń
• rozwiązywanie problemów z wydajnością i skalowalnością
• współpraca z zespołami technicznymi i biznesowymi