Senior Data Engineer

Brak informacji o wynagrodzeniu

SeniorZdalnie·GliwiceFull-time

#470863·Dodano 7 dni temu·2

Źródło: Clurgo

Aplikuj teraz

Tech Stack / Keywords

Apache Spark Python Azure Databricks SQLAzure Data FactoryAzure Data LakeAzure Synapse AnalyticsAzure Data ExplorerAzure DevOpsDelta Live Tables

Podsumowanie oferty

W projekcie realizowanym we współpracy z firmą technologiczną rozwiniesz skalowalne rozwiązania danych w ekosystemie Microsoft Azure. Będziesz projektować i rozwijać pipeline’y ETL/ELT oraz przetwarzać dane z wykorzystaniem Apache Spark, Azure Databricks, Python i SQL.

Wymagania

Minimum 5 lat doświadczenia w obszarze Data Engineering oraz bardzo dobra znajomość Apache Spark i Python.
Praktyczne doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer.
Dobra znajomość SQL oraz umiejętność projektowania i optymalizacji procesów przetwarzania danych, w tym pipeline’ów ETL/ELT.
Doświadczenie z Databricks oraz znajomość Delta Live Tables (DLT), Unity Catalog i zarządzania metadanymi.
Doświadczenie z Azure DevOps i CI/CD oraz stosowanie dobrych praktyk inżynierskich w projektowaniu, testowaniu i wdrażaniu rozwiązań danych.
Znajomość Power BI i rozumienie potrzeb rozwiązań analitycznych oraz raportowych.
Umiejętność samodzielnego diagnozowania problemów produkcyjnych i optymalizacji wydajności oraz kosztów, a także współpracy z architektami, zespołami platformowymi i interesariuszami biznesowymi.
Znajomość języka angielskiego na poziomie C1.

Obowiązki

Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure, w szczególności z wykorzystaniem Azure Databricks i architektury Data Lakehouse.
Tworzenie i optymalizacja pipeline’ów ETL/ELT do pobierania, transformowania i udostępniania danych z różnych obszarów biznesowych.
Rozwój rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark.
Budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków opartych na metadanych oraz procesów orkiestracji.
Udział w migracji i modernizacji platform danych, w tym wdrażaniu Unity Catalog, aktualizacjach platformy i transformacji rozwiązań.
Współpraca z architektami danych, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne.
Zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych oraz diagnozowanie problemów produkcyjnych i analiza ich przyczyn.
Automatyzacja procesów wdrażania z wykorzystaniem CI/CD i Azure DevOps oraz udział w code review i utrzymywaniu standardów inżynierskich.
Optymalizacja pipeline’ów, struktur danych i obciążeń przetwarzania w celu poprawy efektywności i ograniczenia kosztów.
Wspieranie inicjatyw związanych z raportowaniem, analityką i AI/ML poprzez dostarczanie wiarygodnych i skalowalnych fundamentów danych.

Inne informacje

Proces rekrutacyjny obejmuje informację zwrotną niezależnie od decyzji.

Clurgo

77 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz