Awareson Sp. z o.o.

Azure Data Engineer with Databricks

110 - 130 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WarszawaInne·B2B

#469491·Dodano 15 dni temu·4

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Azure DatabricksDataFactoryPySpark SQL Python CI/CD

Podsumowanie oferty

Projekt dotyczy klienta z branży Life Sciences. Osoba na tym stanowisku będzie projektować, rozwijać i utrzymywać skalowalne rozwiązania do przetwarzania danych w Microsoft Azure, w szczególności z użyciem Databricks i Azure Data Factory.

Wymagania

Doświadczenie w Azure Data Engineering, pracy z Databricks i Azure Data Factory.
Bardzo dobra znajomość SQL, PySpark, Python oraz ETL/ELT.
Znajomość modelowania danych (3NF, Star/Snowflake).
Praktyczna znajomość Databricks: Unity Catalog, MLflow, Jobs i Pipelines.
Znajomość architektury Data Lakehouse, Medallion oraz integracji API.
Doświadczenie w CI/CD i DevOps (Git, Azure DevOps).
Znajomość integracji z narzędziami analitycznymi, np. Power BI.
Dobre umiejętności komunikacyjne i doświadczenie we współpracy z klientem oraz zespołami interdyscyplinarnymi.

Mile widziane:

Znajomość AWS lub GCP.

Obowiązki

Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania dużych zbiorów danych, zarówno strukturalnych, jak i niestrukturalnych.
Projektowanie, budowa i utrzymanie wydajnych potoków danych integrujących informacje z różnych źródeł, w tym baz danych, API oraz platform strumieniowych.
Rozwój rozwiązań opartych na Azure Databricks i Azure Data Factory.
Współpraca z zespołami Data Engineering, Data Science, architektami chmurowymi oraz innymi interesariuszami w celu dostarczania kompleksowych rozwiązań danych.
Udział w kluczowych etapach realizacji projektu, we współpracy z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami oraz Product Ownerami.
Dokumentowanie rozwiązań technicznych oraz uwzględnianie wydajności, skalowalności i kosztów w podejmowanych decyzjach architektonicznych.
Wspieranie procesów CI/CD i wdrażanie dobrych praktyk DevOps w obszarze przetwarzania danych.

Inne informacje

Wymagana jedna wizyta miesięcznie w biurze w Warszawie.

Awareson Sp. z o.o.

96 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz