Data Engineer Azure

Wspólnie z naszym Partnerem, międzynarodową instytucją finansującą globalnych producentów maszyn budowlanych i samochodowych, poszukujemy osoby na stanowisko Data Engineer (Azure). Projekt dotyczy budowy i rozwoju globalnej platformy danych klasy enterprise (Global Data Mart), wspierającej raportowanie, analitykę oraz procesy finansowe dla regionów i jednostek biznesowych na całym świecie.

• Minimum 6-letnie doświadczenie komercyjne na stanowisku Data Engineer lub pokrewne.
• Praktyczne doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL/ELT oraz data pipelines w środowisku Azure.
• Umiejętność analizowania wymagań biznesowych oraz tworzenia i utrzymywania dokumentacji technicznej (BRD, SRD, DDL).
• Doświadczenie w pracy z architekturą Data Lake / Lakehouse, w tym projektowaniem warstw Staging, Core i Curated.
• Zaawansowana znajomość SQL (T-SQL) oraz doświadczenie w optymalizacji zapytań i modelowaniu danych.
• Bardzo dobra znajomość Azure Databricks, Azure Data Factory oraz usług ekosystemu Azure Data Platform.
• Doświadczenie w pracy z Azure Data Lake Storage (ADLS) oraz rozwiązaniami opartymi o Lakehouse.
• Bardzo dobra znajomość PySpark oraz Python w kontekście przetwarzania i transformacji danych.
• Biegła znajomość języka angielskiego na poziomie C1.
• Otwartość na pracę w trybie hybrydowym z biura we Wrocławiu (3 dni zdalnie, 2 dni z biura).

• Tworzenie i optymalizacja notebooków PySpark oraz Spark SQL w Databricks do ekstrakcji, transformacji i przetwarzania danych oraz generowania Shared File Formats (SFF).
• Przygotowywanie dokumentacji technicznej, w tym dokumentów projektowych, prototypów i specyfikacji na podstawie wymagań biznesowych i systemowych.
• Współpraca z Data Modelerami przy mapowaniu danych source-to-staging, analizie schematów oraz tworzeniu definicji DDL dla tabel i widoków.
• Wsparcie działań Data Governance, w tym zarządzanie data lineage, katalogowaniem danych oraz współpraca z Information Stewardami.
• Monitorowanie i optymalizacja wydajności procesów SQL i Spark, identyfikacja wąskich gardeł oraz tuning jobów przetwarzania danych.
• Konfiguracja i utrzymanie tabel Ingestion Framework (IF) wspierających automatyczne ładowanie danych do warstw staging i DLC.
• Aktywny udział w analizie wymagań, estymacjach oraz ceremoniach Agile (Sprint Planning, Backlog Refinement, Retrospectives).
• Udział w design review i code review procesów ETL/ELT oraz wdrażanie dobrych praktyk CI/CD w obszarze Data Engineering.
• Udział w migracjach danych z systemów legacy do architektury chmurowej Azure Data Lake.