Michael Page

Senior Data Engineer - IT Contracting

122 - 159 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnie·WarszawaFull-time·B2B

#446640·Dodano 25 dni temu·5

Źródło: nofluffjobs.com

Aplikuj teraz

Tech Stack / Keywords

Azure Databricks Python PySparkSpark SQLAPIAzureADLSData engineeringDatabricksDelta Live Table

Firma i stanowisko

Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks.

Branża: Technology & Telecoms Obszar: IT Data Analysis

Wymagania

Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli
Bardzo dobra znajomość Azure Databricks
Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL
Znajomość Delta Lake i architektury Lakehouse
Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold
Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure
Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure
Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów
Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage)
Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance
Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych
Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych
Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych
Bardzo dobra znajomość języka angielskiego

Nice to have:

Doświadczenie z Databricks Workflows oraz Databricks Jobs
Znajomość Delta Live Tables lub Lakeflow
Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych
Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych

Obowiązki

Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks
Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake
Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych
Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold
Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych
Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania
Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości
Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych
Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych
Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych
Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów
Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań

Benefity

Stawka do 34 EUR/h
Praca w pełni zdalna
Start projektu: 1 listopada
Długoterminowy projekt do 31.10.2027
Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danych
Realny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę Lakehouse
Umowa B2B via Michael Page
Prywatna opieka zdrowotna

Opieka zdrowotna

Michael Page

75 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz