Data Engineer (Azure)

Wspólnie z naszym Partnerem, międzynarodową organizacją z branży ubezpieczeniowej realizującą strategiczne inicjatywy transformacji danych w wielu krajach, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Data Engineer. Projekt obejmuje budowę i rozwój platformy DataHub opartej o architekturę medalionową (Bronze/Silver/Gold) oraz model Data Vault 2.0, wspierającej integrację i przetwarzanie danych na potrzeby wielu obszarów biznesowych.

• Doświadczenie z Azure Databricks, ETL, PySpark, Microsoft Azure, Python, SQL oraz platformą Azure.
• Znajomość projektowania i wdrażania rozwiązań zgodnych z modelem Data Vault 2.0.
• Umiejętność optymalizacji potoków danych i zarządzania danymi na dużą skalę.

Nice to have:

• Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD.
• Znajomość narzędzi Terraform, Docker, oraz Kubernetes.
• Doświadczenie z DBT (Data Build Tool).

• Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu.
• Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure oraz Azure Databricks, zapewniających efektywną integrację danych z wielu źródeł.
• Zaprojektowanie i wdrożenie modeli danych zgodnych z architekturą Data Vault 2.0, umożliwiające dalszy rozwój i standaryzację platformy danych.
• Tworzenie rozwiązań do walidacji danych, wykrywania anomalii i monitorowania jakości danych wraz z mechanizmami raportowania.
• Dokumentowanie modeli danych, potoków przetwarzania oraz decyzji architektonicznych zgodnie ze standardami projektu.
• Opracowanie i utrzymanie procesów przetwarzania danych wspierających analitykę oraz raportowanie w czasie rzeczywistym.
• Tworzenie oraz optymalizacja potoków ETL/ELT w Spark i PySpark.