Senior Data Engineer - IT Contracting

Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks.

Branża: Technology & Telecoms Obszar: IT Data Analysis

• Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli
• Bardzo dobra znajomość Azure Databricks
• Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL
• Znajomość Delta Lake i architektury Lakehouse
• Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold
• Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure
• Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure
• Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów
• Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage)
• Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance
• Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych
• Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych
• Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych
• Bardzo dobra znajomość języka angielskiego

Nice to have:

• Doświadczenie z Databricks Workflows oraz Databricks Jobs
• Znajomość Delta Live Tables lub Lakeflow
• Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych
• Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych

• Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks
• Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake
• Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych
• Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold
• Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych
• Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania
• Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości
• Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych
• Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych
• Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych
• Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów
• Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań