Data Platform Engineer with Apache Druid.

170 - 200 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnieFull-time·B2B

#465449·Dodano 6 dni temu·0

Źródło: nofluffjobs.com

Aplikuj teraz

Tech Stack / Keywords

ApacheDruidApache KafkaApache FlinkMySQLRBACAWSAWS S3Apache AuroraIAMAthena

Podsumowanie oferty

Rola obejmuje rozwijanie i utrzymywanie platformy danych, w tym potoków ingestii i niestandardowych rozszerzeń Apache Druid. Praca obejmuje także rozwiązania oparte na Apache Kafka, przetwarzanie strumieniowe oraz usługi AWS.

Wymagania

Praktyczne, zaawansowane doświadczenie w zakresie ingestii danych w Apache Druid oraz tworzenia rozszerzeń dla tej platformy.
Doświadczenie w budowaniu i utrzymywaniu potoków danych opartych na Apache Kafka.
Doświadczenie w pracy z Apache Flink lub podobnymi technologiami przetwarzania strumieniowego.
Bardzo dobra znajomość optymalizacji zapytań MySQL oraz strojenia wydajności baz danych w środowiskach przetwarzających dane na dużą skalę.
Doświadczenie we wdrażaniu mechanizmów wzbogacania metadanych w ramach platform danych.
Doświadczenie w integracji i utrzymywaniu rozwiązań RBAC w wielu repozytoriach danych.
Praktyczne doświadczenie w pracy z usługami AWS, w szczególności S3, Aurora i IAM.
Umiejętność rozwiązywania złożonych problemów związanych z inżynierią i architekturą platform danych.
Dobre umiejętności analityczne, rozwiązywania problemów i współpracy zespołowej.

Mile widziane:

Doświadczenie w pracy z ClickHouse.
Znajomość Apache Iceberg oraz architektury typu lakehouse.
Doświadczenie z technologiami federacji zapytań, takimi jak Trino i Amazon Athena.
Doświadczenie w pracy z dużymi platformami analitycznymi oraz integracjami w ramach nowoczesnego ekosystemu danych.

Obowiązki

Rozwijanie i utrzymywanie potoków ingestii danych w Apache Druid oraz tworzenie niestandardowych rozszerzeń platformy, w tym integracji z zewnętrznymi systemami zaplecza obsługującymi mechanizmy lookup.
Budowanie i utrzymywanie potoków danych opartych na Apache Kafka, z możliwością udziału w przetwarzaniu strumieniowym z wykorzystaniem Apache Flink.
Implementowanie procesów wstępnej agregacji danych oraz ich wzbogacania.
Optymalizacja zapytań MySQL i wydajności baz danych w środowiskach przetwarzających duże wolumeny danych.
Projektowanie i wdrażanie mechanizmów wzbogacania metadanych w różnych repozytoriach danych.
Integracja i utrzymywanie rozwiązań RBAC (Role-Based Access Control), czyli kontroli dostępu opartej na rolach, w różnych komponentach platformy.
Praca z usługami AWS, w tym S3, Aurora i IAM.
Współpraca z zespołami realizującymi szersze inicjatywy związane z platformą danych i architekturą lakehouse.

Benefity

Elastyczne godziny pracy.
Możliwość skorzystania z karty sportowej.
Możliwość skorzystania z prywatnej opieki medycznej.
Możliwość skorzystania z ubezpieczenia na życie.

Elastyczne godziny

Karta sportowa

Opieka zdrowotna

Ubezpieczenie

Devire

140 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz