DCG

Senior Data Engineer (Python / Azure)

Brak informacji o wynagrodzeniu

SeniorZdalnieFull-time

#468957·Dodano 14 dni temu·1

Źródło: DCG

Aplikuj teraz

Tech Stack / Keywords

Python SQLAzure Data Lake StorageAzure Data FactoryAzure Functions Azure SQL Azure DatabricksMicrosoft FabricGitAzure DevOps

Podsumowanie oferty

Projektowanie hurtowni danych i lakehouse’ów oraz budowa produkcyjnych pipeline’ów ETL/ELT dla klientów. Praca obejmuje modelowanie danych i integracje, z wykorzystaniem Python, SQL i Azure.

Wymagania

Minimum 5 lat komercyjnego doświadczenia w data engineeringu.
Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse.
Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion.
Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności.
Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL.
Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML.
Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych.
Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric.
Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions.
Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi.
Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem.

Mile widziane:

Znajomość Infrastructure as Code: Terraform lub Bicep.
Znajomość projektowania modeli danych na potrzeby Power BI.
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament.

Obowiązki

Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta.
Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion.
Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy.
Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania.
Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych.
Budowa produkcyjnych pipeline’ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi.
Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych.
Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych.
Przygotowanie dokumentacji architektury, modelu danych i pipeline’ów oraz przekazanie rozwiązania zespołowi klienta.

Benefity

Prywatna opieka medyczna.
Dofinansowanie karty sportowej.
Stałe wsparcie konsultanta.
Program rekomendacji pracowników.

Opieka zdrowotna

Karta sportowa

DCG

444 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz