GS Services

Senior Data Engineer

140 - 145 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnie·WrocławFull-time·B2B

#467253·Dodano 8 dni temu·2

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python SQL Apache Spark Azure Databricks CI/CD

Podsumowanie oferty

W długoterminowym projekcie dla globalnej firmy z branży turystycznej będziesz rozwijać i optymalizować platformę danych wykorzystywaną w procesach operacyjnych, finansowych, raportowych i analitycznych. Praca obejmuje rozwiązania oparte na Microsoft Azure i Databricks oraz przetwarzanie danych z użyciem Python, SQL i Apache Spark.

Wymagania

Doświadczenie na stanowisku Data Engineer lub Senior Data Engineer.
Bardzo dobra znajomość Python, SQL i Apache Spark.
Praktyczne doświadczenie z Microsoft Azure oraz Azure Databricks.
Znajomość Azure Data Factory, Azure Data Lake i Azure Synapse Analytics.
Doświadczenie w projektowaniu i utrzymywaniu procesów ETL/ELT.
Doświadczenie w pracy z Delta Live Tables (DLT) i Unity Catalog.
Znajomość architektury Lakehouse.
Doświadczenie w pracy z CI/CD i Azure DevOps.
Znajomość zagadnień związanych z automatyzacją infrastruktury, monitorowaniem i logowaniem.
Umiejętność diagnozowania problemów i optymalizacji rozwiązań przetwarzających duże wolumeny danych.
Angielski na poziomie minimum B2.

Obowiązki

Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w środowisku Azure.
Budowanie i optymalizacja procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.
Rozwijanie rozwiązań opartych na Azure Databricks, Azure Data Factory, Azure Synapse Analytics i Azure Data Lake.
Tworzenie i utrzymywanie przepływów danych oraz procesów orkiestracji, w tym rozwiązań Delta Live Tables (DLT).
Wspieranie migracji i modernizacji platformy danych, w tym wdrażania Unity Catalog.
Zapewnianie jakości, bezpieczeństwa, niezawodności i wysokiej wydajności przetwarzania danych.
Diagnozowanie i rozwiązywanie problemów w środowisku produkcyjnym.
Udział w automatyzacji infrastruktury, wdrażaniu CI/CD oraz monitorowaniu procesów.
Optymalizacja potoków danych i kosztów infrastruktury.
Współpraca z architektami danych, analitykami i zespołami biznesowymi przy projektowaniu rozwiązań technicznych.
Wspieranie inicjatyw związanych z analityką, raportowaniem i AI/ML.

GS Services

11 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz