Architekt Hurtowni Danych (F/M)

• Doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych.
• Praktyczne doświadczenie w tworzeniu architektury Data Lake oraz Data Lakehouse.
• Bardzo dobra znajomość Apache Spark w obszarze Data Engineering.
• Praktyczna znajomość Apache Hadoop i HDFS.
• Doświadczenie z Delta Lake lub Apache Iceberg.
• Umiejętność definiowania architektury przetwarzania danych na dużą skalę.
• Doświadczenie w projektowaniu procesów ETL/ELT.
• Umiejętność przygotowywania dokumentacji architektonicznej HLD i LLD.
• Doświadczenie w prowadzeniu transformacji technologicznych zespołów Data Warehouse.

• Analiza i ocena obecnej architektury hurtowni danych.
• Opracowanie docelowej architektury nowoczesnej platformy danych.
• Przygotowanie High-Level Design dla projektowanego rozwiązania.
• Opracowanie koncepcji wyeliminowania Oracle Data Integrator.
• Zaprojektowanie zastąpienia warstw SRC i STG rozwiązaniem opartym na Apache HDFS.
• Analiza, rekomendacja i wybór podejścia z wykorzystaniem Delta Lake lub Apache Iceberg.
• Zaprojektowanie warstw transformacji, przetwarzania i ładowania danych z użyciem Apache Spark.
• Określenie wzorców integracji i przetwarzania danych w modelach batch, near-real-time oraz streaming.
• Opracowanie zasad zarządzania metadanymi, jakością danych oraz monitorowania procesów.
• Zaprojektowanie procesów CI/CD dla platformy danych.
• Przygotowanie standardów zarządzania kodem źródłowym i testowania rozwiązań danych.
• Rekomendowanie narzędzi wspierających automatyzację wdrożeń.
• Opracowanie standardów utrzymania i rozwoju hurtowni danych w nowej architekturze.
• Pełnienie funkcji lidera technicznego programu transformacji.
• Wsparcie zespołu w podejmowaniu decyzji architektonicznych.
• Mentoring i transfer wiedzy do zespołu.
• Rozwijanie kompetencji zespołu w zakresie Hadoop, Data Lakehouse, Apache Spark oraz Data Engineering.

Informujemy, że administratorem danych jest B2B.net S.A. z siedzibą w Lidzbarku, ul. Wielki Łęck 81A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.