DCG

Data Engineer (Python / Azure)

Brak informacji o wynagrodzeniu

MidZdalnieFull-time

#468958·Dodano 14 dni temu·2

Źródło: DCG

Aplikuj teraz

Tech Stack / Keywords

Python SQLAzure Data Lake StorageAzure Data FactoryAzure Functions Azure DatabricksMicrosoft FabricREST API Git CI/CD

Podsumowanie oferty

Osoba na tym stanowisku będzie tworzyć i utrzymywać produkcyjne pipeline’y danych ETL/ELT oraz integrować je z zewnętrznymi REST API. Praca obejmuje przetwarzanie danych z użyciem Pythona, SQL i usług Azure.

Wymagania

Minimum 3 lata komercyjnego doświadczenia jako Data Engineer.
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline’ów ETL/ELT.
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML.
Dobra znajomość SQL.
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations.
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric.
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions.
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem.
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym.

Mile widziane:

Integracja wyników AI/LLM z pipeline’ami danych i ocena ich jakości.
Znajomość zasad przygotowania modeli danych pod Power BI.
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament.

Obowiązki

Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń.
Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML.
Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą.
Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych.
Wdrażanie logowania, monitorowania działania pipeline’ów oraz obsługi błędów.
Praca z repozytoriami Git i procesami CI/CD klienta.
Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych.

Benefity

Prywatna opieka medyczna.
Dofinansowanie karty sportowej.
Stałe wsparcie konsultanta.
Program rekomendacji pracowników.

Opieka zdrowotna

Karta sportowa

DCG

444 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz