Data engineer

Międzynarodowa organizacja z branży ubezpieczeniowej realizująca strategiczne inicjatywy transformacji danych w wielu krajach.

• Minimum 4 lata doświadczenia w pracy jako Data Engineer.
• Komunikatywna znajomość języka angielskiego.
• Znajomość usług Microsoft Azure, w szczególności Azure Databricks oraz Azure DevOps.
• Doświadczenie w projektowaniu i budowie rozwiązań dla dużych zbiorów danych.
• Doświadczenie w budowie i optymalizacji procesów ETL/ELT.
• Praktyczna znajomość Python, Spark, PySpark oraz SQL.

Mile widziane:

• Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD.
• Znajomość modelowania danych w oparciu o Data Vault 2.0.
• Znajomość Terraform, Docker oraz Kubernetes.
• Doświadczenie z DBT (Data Build Tool).

• Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych na podstawie ustaleń z interesariuszami projektu.
• Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure oraz Azure Databricks, zapewniających efektywną integrację danych z wielu źródeł.
• Projektowanie i wdrażanie modeli danych zgodnych z architekturą Data Vault 2.0.
• Implementacja rozwiązań do walidacji danych, wykrywania anomalii i monitorowania jakości danych wraz z mechanizmami raportowania.
• Przygotowanie dokumentacji modeli danych, potoków przetwarzania oraz decyzji architektonicznych.
• Opracowanie i utrzymanie procesów przetwarzania danych wspierających analitykę oraz raportowanie w czasie rzeczywistym.
• Tworzenie oraz optymalizacja potoków ETL/ELT w Spark i PySpark.