B2Bnetwork

Architekt Hurtowni Danych (F/M)

Brak informacji o wynagrodzeniu

SeniorZdalnie·GdańskFull-time·B2B

#430553·Dodano dwa miesiące temu·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Apache SparkData LakehouseApache HadoopHDFSDelta LakeApache IcebergData EngineeringETL/ELTOracle/ODIData Warehouse

Podsumowanie oferty

Doświadczony Architekt Hurtowni Danych będzie odpowiedzialny za zaprojektowanie nowoczesnej platformy danych oraz wsparcie transformacji technologicznej środowiska Data Warehouse. Główne zadania obejmują ocenę obecnej architektury, opracowanie High Level Design oraz przygotowanie rekomendacji technologicznych. Rola wymaga prowadzenia działań z zakresu architektury danych, dokumentacji oraz mentorowania zespołu.

Wymagania

Doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych.
Praktyczne doświadczenie w tworzeniu architektury Data Lake oraz Data Lakehouse.
Bardzo dobra znajomość Apache Spark w obszarze Data Engineering.
Praktyczna znajomość Apache Hadoop i HDFS.
Doświadczenie z Delta Lake lub Apache Iceberg.
Umiejętność definiowania architektury przetwarzania danych na dużą skalę.
Doświadczenie w projektowaniu procesów ETL/ELT.
Umiejętność przygotowywania dokumentacji architektonicznej HLD i LLD.
Doświadczenie w prowadzeniu transformacji technologicznych zespołów Data Warehouse.

Obowiązki

Analiza i ocena obecnej architektury hurtowni danych.
Opracowanie docelowej architektury nowoczesnej platformy danych.
Przygotowanie High-Level Design dla projektowanego rozwiązania.
Opracowanie koncepcji wyeliminowania Oracle Data Integrator.
Zaprojektowanie zastąpienia warstw SRC i STG rozwiązaniem opartym na Apache HDFS.
Analiza, rekomendacja i wybór podejścia z wykorzystaniem Delta Lake lub Apache Iceberg.
Zaprojektowanie warstw transformacji, przetwarzania i ładowania danych z użyciem Apache Spark.
Określenie wzorców integracji i przetwarzania danych w modelach batch, near-real-time oraz streaming.
Opracowanie zasad zarządzania metadanymi, jakością danych oraz monitorowania procesów.
Zaprojektowanie procesów CI/CD dla platformy danych.
Przygotowanie standardów zarządzania kodem źródłowym i testowania rozwiązań danych.
Rekomendowanie narzędzi wspierających automatyzację wdrożeń.
Opracowanie standardów utrzymania i rozwoju hurtowni danych w nowej architekturze.
Pełnienie funkcji lidera technicznego programu transformacji.
Wsparcie zespołu w podejmowaniu decyzji architektonicznych.
Mentoring i transfer wiedzy do zespołu.
Rozwijanie kompetencji zespołu w zakresie Hadoop, Data Lakehouse, Apache Spark oraz Data Engineering.

Inne informacje

Informujemy, że administratorem danych jest B2B.net S.A. z siedzibą w Lidzbarku, ul. Wielki Łęck 81A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

B2Bnetwork

171 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz