Data Platform Engineer (Apache Druid)

150 - 175 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WarszawaInne·B2B

#474498·Dodano dziś·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Data EngineeringApache DruidApache FlinkMySQLRBACClickHouseApache IcebergArchitektura LakehouseAWS

Podsumowanie oferty

Rozwój i utrzymanie platformy danych oraz ekosystemu analitycznego przetwarzającego duże wolumeny danych dla klienta rozwijającego chmurową platformę komunikacji z klientami i marketingu opartego na danych. Rola obejmuje pipeline’y danych, ingestie i przetwarzanie strumieniowe z wykorzystaniem Apache Druid, Apache Kafka i Apache Flink.

Wymagania

Praktyczne doświadczenie z Apache Druid, w szczególności w zakresie ingestii danych i tworzenia rozszerzeń.
Doświadczenie w budowaniu i utrzymywaniu pipeline’ów danych z wykorzystaniem Apache Kafka.
Znajomość Apache Flink lub podobnych technologii do przetwarzania strumieniowego.
Bardzo dobra znajomość MySQL, w tym optymalizacji zapytań i wydajności baz danych przy dużych wolumenach danych.
Doświadczenie w implementacji mechanizmów wzbogacania metadanych w platformach danych.
Doświadczenie w integracji i utrzymaniu rozwiązań RBAC w różnych systemach przechowywania danych.
Praktyczna znajomość AWS, szczególnie S3, Aurora i IAM.
Umiejętność rozwiązywania złożonych problemów inżynierskich oraz współpracy z zespołem.

Mile widziane:

Doświadczenie z ClickHouse.
Znajomość Apache Iceberg i architektury Lakehouse.
Doświadczenie z technologiami federacji zapytań, np. Trino lub Amazon Athena.
Doświadczenie w pracy z platformami danych przetwarzającymi duże wolumeny danych.

Obowiązki

Zakres usługi:

Rozwój i utrzymanie pipeline’ów ingestii danych w Apache Druid oraz tworzenie własnych rozszerzeń.
Integracja Apache Druid z zewnętrznymi systemami lookup.
Budowanie i utrzymywanie pipeline’ów danych opartych na Apache Kafka.
Udział w rozwoju przetwarzania strumieniowego z wykorzystaniem Apache Flink.
Implementacja procesów pre-agregacji i wzbogacania danych.
Optymalizacja zapytań MySQL oraz poprawa wydajności baz danych w środowiskach o dużej skali.
Projektowanie mechanizmów wzbogacania metadanych w różnych systemach przechowywania danych.
Integracja i utrzymanie mechanizmów kontroli dostępu RBAC.
Praca z usługami AWS, w szczególności S3, Aurora i IAM.
Współpraca z zespołami rozwijającymi platformę danych oraz architekturę Lakehouse.

RITS

89 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz