Architekt Hurtowni Danych / Data Platform Architect

• Doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych.
• Praktyczne doświadczenie w tworzeniu architektury Data Lake oraz Data Lakehouse.
• Bardzo dobra znajomość Apache Spark w obszarze Data Engineering.
• Praktyczna znajomość Apache Hadoop i HDFS.
• Doświadczenie z Delta Lake lub Apache Iceberg.
• Umiejętność definiowania architektury przetwarzania danych na dużą skalę.
• Doświadczenie w projektowaniu procesów ETL/ELT.
• Umiejętność przygotowywania dokumentacji architektonicznej HLD i LLD.
• Doświadczenie w prowadzeniu transformacji technologicznych zespołów Data Warehouse.

• Analiza i ocena obecnej architektury hurtowni danych.
• Opracowanie docelowej architektury nowoczesnej platformy danych.
• Przygotowanie High-Level Design dla projektowanego rozwiązania.
• Opracowanie koncepcji wyeliminowania Oracle Data Integrator.
• Zaprojektowanie zastąpienia obecnych warstw SRC i STG rozwiązaniem opartym na Apache HDFS.
• Analiza, rekomendacja i wybór podejścia wykorzystującego Delta Lake lub Apache Iceberg.
• Zaprojektowanie warstw transformacji, przetwarzania i ładowania danych z wykorzystaniem Apache Spark.
• Określenie wzorców integracji i przetwarzania danych w modelach batch, near-real-time oraz streaming, jeśli ich zastosowanie będzie uzasadnione.
• Opracowanie zasad zarządzania metadanymi, jakością danych oraz monitorowania procesów.
• Zaprojektowanie procesów CI/CD dla platformy danych.
• Przygotowanie standardów zarządzania kodem źródłowym i testowania rozwiązań danych.
• Rekomendowanie narzędzi wspierających automatyzację wdrożeń.
• Opracowanie standardów utrzymania i dalszego rozwoju hurtowni danych w nowej architekturze.
• Pełnienie funkcji lidera technicznego programu transformacji.
• Wsparcie zespołu projektowego w podejmowaniu decyzji architektonicznych.
• Mentoring i transfer wiedzy do obecnego zespołu.
• Rozwijanie kompetencji zespołu w zakresie Hadoop, Data Lakehouse, Apache Spark oraz nowoczesnych praktyk Data Engineering.

Kluczowe rezultaty pierwszego etapu współpracy:

• Assessment obecnej architektury.
• Dokument HLD docelowej architektury.
• Roadmapa transformacji technologicznej.
• Rekomendacje technologiczne wraz z uzasadnieniem.
• Koncepcja CI/CD oraz standardów wytwarzania.
• Rekomendacje kompetencyjne dla zespołu i plan transferu wiedzy.