Data Platform Engineer with Apache Druid

1500 - 1650 PLN/ mies./ mies.B2BB2B (netto)

SeniorZdalnie·WarszawaFull-time·B2B

#469761·Dodano 7 dni temu·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Apache DruidKafkaFlink or similar stream-processing technologies.MySQL Amazon AWS

Podsumowanie oferty

Buduj i rozwijaj wielkoskalową platformę danych dla międzynarodowej firmy technologicznej działającej w obszarze customer engagement, automatyzacji i marketingu opartym na danych. Będziesz pracować nad potokami Apache Druid i Kafka, wzbogacaniem danych, optymalizacją baz danych oraz kontrolą dostępu.

Wymagania

Praktyczne doświadczenie z Apache Druid, szczególnie z potokami ingestii i tworzeniem rozszerzeń.
Doświadczenie w budowaniu i utrzymywaniu potoków danych opartych na Kafka.
Znajomość Flink lub podobnych technologii przetwarzania strumieniowego.
Dobra znajomość optymalizacji zapytań MySQL i dostrajania wydajności baz danych w dużej skali.
Doświadczenie we wdrażaniu wzbogacania metadanych na platformach danych.
Praktyczne doświadczenie w integracji i utrzymywaniu rozwiązań RBAC w wielu magazynach danych.
Praktyczne doświadczenie z AWS, szczególnie S3, Aurora i IAM.
Umiejętność rozwiązywania problemów i współpracy przy złożonych wyzwaniach inżynieryjnych.

Mile widziane:

Doświadczenie z ClickHouse.
Znajomość Apache Iceberg i architektur lakehouse.
Znajomość technologii federacji zapytań, takich jak Trino i Amazon Athena.
Doświadczenie z wielkoskalowymi platformami analitycznymi i integracjami nowoczesnych ekosystemów danych.

Obowiązki

Rozwijaj i utrzymuj potoki ingestii Apache Druid oraz niestandardowe rozszerzenia, w tym integracje z zewnętrznymi backendami lookup.
Buduj i wspieraj potoki danych oparte na Kafka, z możliwością udziału w przetwarzaniu strumieniowym z użyciem Flink.
Projektuj i wdrażaj procesy preagregacji i wzbogacania danych.
Optymalizuj zapytania MySQL i wydajność baz danych w środowiskach o dużej skali.
Rozwijaj mechanizmy wzbogacania metadanych w wielu magazynach danych.
Integruj i utrzymuj rozwiązania kontroli dostępu oparte na rolach (RBAC) w komponentach platformy.
Pracuj z usługami AWS, w tym S3, Aurora i IAM.
Współpracuj z zespołami inżynieryjnymi realizującymi szersze inicjatywy dotyczące platform danych i architektury lakehouse.
Wspieraj skalowalność, wydajność i bezpieczeństwo nowoczesnego ekosystemu danych analitycznych.

DCV Technologies

75 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz