Azure Data Engineer

Brak informacji o wynagrodzeniu

MidZdalnie·KrakówFull-time·Umowa o pracę

#472792·Dodano 2 dni temu·4

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

ETLELTAzure Databricks PySpark SQLNotebooksJobsworkflowsLakeHouseDelta Lake

Podsumowanie oferty

Jako Azure Databricks Data Engineer będziesz projektować i dostarczać skalowalne potoki danych, rozwiązania Lakehouse oraz zarządzane platformy danych na Azure. Wykorzystasz PySpark, SQL, Delta Lake, Unity Catalog i Power BI do tworzenia bezpiecznych, niezawodnych i wydajnych rozwiązań danych.

Wymagania

Duże doświadczenie w tworzeniu i wdrażaniu skalowalnych potoków ETL i ELT na Azure Databricks z użyciem PySpark, SQL, Notebooks, Jobs i Workflows.
Znajomość architektury Lakehouse, Delta Lake oraz wzorców warstw danych bronze, silver i gold, a także umiejętność tworzenia wielokrotnego użytku frameworków i bibliotek transformacji danych.
Doświadczenie we wdrażaniu Unity Catalog, kontroli dostępu opartej na rolach, kontroli dostępu do danych, audytu oraz spójnych standardów katalogów, schematów i tabel.
Umiejętność tworzenia zoptymalizowanych pod kątem wydajności zbiorów danych dla Power BI oraz współpracy przy modelach semantycznych, kontraktach danych, strategiach odświeżania i rozwiązaniach Direct Lake oraz Direct Query, tam gdzie ma to zastosowanie.
Doświadczenie w optymalizacji klastrów Databricks i harmonogramowania zadań, wdrażaniu monitorowania i alertowania oraz współtworzeniu praktyk CI/CD z użyciem Git i Azure DevOps lub GitHub.
Znajomość procesów biznesowych i terminologii z obszaru finansów i ubezpieczeń.
Umiejętność samodzielnej pracy; motywacja, dobra organizacja i zarządzanie własnym czasem, aby realizować zadania w krótkich terminach i pod dużą presją.
Umiejętność otwartej, szczerej i samodzielnej komunikacji z interesariuszami na wszystkich poziomach organizacji w celu poznania ich celów i procesów biznesowych.
Należy załączyć CV wyłącznie w języku angielskim.

Obowiązki

Prowadzenie warsztatów w celu omówienia, weryfikacji i dokumentowania wymagań biznesowych dotyczących raportowania.
Ustanawianie najlepszych praktyk w zakresie architektury danych, zarządzania, bezpieczeństwa, wydajności i niezawodności platformy.
Tworzenie i wdrażanie skalowalnych potoków integracji danych na Azure Databricks z użyciem PySpark, SQL, Notebooks, Jobs i Workflows.
Budowanie i utrzymywanie architektur Lakehouse z użyciem Delta Lake oraz warstw bronze, silver i gold na potrzeby analiz i raportowania.
Tworzenie solidnych, wielokrotnego użytku systemów i zbiorów do transformacji danych.
Wdrażanie i zarządzanie Unity Catalog w celu centralnego zarządzania danymi, tabelami i uprawnieniami.
Definiowanie i egzekwowanie kontroli dostępu opartej na rolach, kontroli dostępu do danych oraz audytu zgodnie z wymaganiami bezpieczeństwa i zgodności.
Standaryzowanie konwencji nazewnictwa katalogów, schematów i tabel w różnych środowiskach.
Dostarczanie dobrze zamodelowanych, zoptymalizowanych pod kątem wydajności zbiorów danych dla Power BI i innych narzędzi analitycznych.
Współpraca z programistami BI i analitykami przy definiowaniu modeli semantycznych, kontraktów danych i strategii odświeżania; wspieranie projektowania i tworzenia raportów.
Diagnozowanie i optymalizowanie wydajności zapytań między Power BI a Databricks, w tym Direct Lake i Direct Query, tam gdzie ma to zastosowanie.
Konfigurowanie i ulepszanie klastrów Databricks, polityk klastrów i harmonogramów zadań pod kątem kosztów, wydajności i niezawodności.
Wdrażanie monitorowania, logowania i alertowania dla potoków danych i zadań.
Współtworzenie i ulepszanie potoków CI/CD dla kodu Databricks z użyciem Git oraz Azure DevOps lub GitHub.
Badanie technologii AI/ML i możliwości wdrażania potoków uczenia maszynowego, które przynoszą wymierną wartość biznesową.

Aon Sp. z o.o.

13 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz