Senior Data Engineer

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

• minimum 5 lat doświadczenia w obszarze Data Engineering oraz bardzo dobra znajomość Apache Spark i Python
• praktyczne doświadczenie w pracy z platformą Microsoft Azure, w tym Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer
• dobra znajomość SQL oraz umiejętność projektowania i optymalizacji procesów przetwarzania danych, w tym pipeline’ów ETL/ELT
• doświadczenie z Databricks oraz znajomość zagadnień związanych z Delta Live Tables (DLT), Unity Catalog i zarządzaniem metadanymi
• doświadczenie z Azure DevOps i procesami CI/CD oraz stosowanie dobrych praktyk inżynierskich w projektowaniu, testowaniu i wdrażaniu rozwiązań danych
• znajomość Power BI i rozumienie potrzeb rozwiązań analitycznych oraz raportowych
• umiejętność samodzielnego diagnozowania problemów produkcyjnych, optymalizacji wydajności i kosztów
• umiejętność współpracy z architektami, zespołami platformowymi i interesariuszami biznesowymi
• znajomość języka angielskiego na poziomie C1

• projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure, w szczególności z wykorzystaniem Azure Databricks i architektury Data Lakehouse
• tworzenie i optymalizacja pipeline’ów ETL/ELT służących do pobierania, transformowania i udostępniania danych z różnych obszarów biznesowych
• rozwój rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark
• budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków opartych na metadanych oraz procesów orkiestracji
• udział w migracji i modernizacji platform danych, w tym wdrażaniu Unity Catalog, aktualizacjach platformy i transformacji rozwiązań
• współpraca z architektami danych, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne
• zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych oraz diagnozowanie problemów produkcyjnych i analiza ich przyczyn
• automatyzacja procesów wdrażania z wykorzystaniem CI/CD i Azure DevOps oraz udział w code review i utrzymywaniu standardów inżynierskich
• optymalizacja pipeline’ów, struktur danych i obciążeń przetwarzania w celu poprawy efektywności i ograniczenia kosztów
• wspieranie inicjatyw związanych z raportowaniem, analityką i AI/ML poprzez dostarczanie wiarygodnych i skalowalnych fundamentów danych