Lumicode (Grupa Pentacomp)

Senior Data Engineer

135 - 145 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnie·WarszawaFull-time·B2B

#467231·Dodano 18 dni temu·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python Azure Services Azure Databricks SQL Apache Spark

Podsumowanie oferty

Dołączysz do międzynarodowego projektu dla firmy z branży turystycznej, rozwijającego i modernizującego platformę danych opartą na Microsoft Azure, Azure Databricks i architekturze Data Lakehouse. Będziesz rozwijać rozwiązania inżynierii danych, przepływy ETL/ELT oraz pipeline’y z użyciem Python, SQL i Apache Spark.

Wymagania

Praktyczna znajomość Apache Spark, Python oraz SQL.
Doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory i Azure Data Lake.
Znajomość usług Azure Synapse Analytics oraz Azure Data Explorer.
Doświadczenie w projektowaniu, rozwijaniu i optymalizacji procesów ETL/ELT.
Znajomość architektury Data Lakehouse i doświadczenie w pracy z rozwiązaniami Databricks.
Praktyczna znajomość Delta Live Tables (DLT) oraz Unity Catalog.
Doświadczenie w implementacji procesów CI/CD z wykorzystaniem Azure DevOps.
Znajomość zagadnień związanych z automatyzacją infrastruktury, monitoringiem i logowaniem.
Umiejętność optymalizacji wydajności, zapewniania jakości danych oraz rozwiązywania problemów w środowiskach produkcyjnych.
Zdolność do współpracy z zespołami technicznymi i biznesowymi przy realizacji projektów danych.

Obowiązki

Rozwój platformy danych:

Rozwijanie i utrzymywanie rozwiązań inżynierii danych w środowisku Azure, obejmujących Databricks, Synapse Analytics oraz architekturę Data Lakehouse.
Udział w modernizacji platformy danych, migracjach technologicznych oraz wdrażaniu Unity Catalog.
Tworzenie i rozwijanie frameworków przetwarzania danych opartych na metadanych oraz rozwiązań wspierających orkiestrację procesów.
Dostarczanie skalowalnych rozwiązań danych wspierających raportowanie, analitykę oraz inicjatywy z obszaru AI/ML.

Przepływy i przetwarzanie danych:

Projektowanie, wdrażanie i optymalizacja przepływów ETL/ELT do integracji i przetwarzania danych z różnych źródeł.
Implementowanie rozwiązań przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark.
Rozwijanie i utrzymywanie pipeline’ów danych, workflowów Databricks oraz rozwiązań opartych na Delta Live Tables.

Współpraca i jakość danych:

Współpraca z Data Architectami, zespołami platformowymi i analitykami przy projektowaniu oraz wdrażaniu rozwiązań zgodnych z wymaganiami biznesowymi i standardami architektonicznymi.
Dbanie o jakość, bezpieczeństwo, spójność i dostępność danych oraz niezawodność platformy.
Udział w przeglądach technicznych, rozwijaniu standardów inżynierskich oraz wdrażaniu dobrych praktyk zarządzania danymi (data governance).
Wspieranie zespołu poprzez dzielenie się wiedzą i mentoring techniczny.

Utrzymanie i optymalizacja:

Analizowanie i rozwiązywanie problemów w środowisku produkcyjnym, identyfikowanie ich przyczyn oraz wdrażanie usprawnień.
Rozwijanie procesów CI/CD oraz automatyzacja wdrożeń, infrastruktury i zadań operacyjnych.
Konfigurowanie i rozwijanie mechanizmów monitorowania, logowania oraz kontroli działania procesów danych.
Optymalizowanie wydajności przetwarzania, wykorzystania zasobów i kosztów utrzymania platformy.

Lumicode (Grupa Pentacomp)

73 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz