Data Platform Developer

100 - 120 PLN/ godz./ godz.UoPUmowa o pracę (brutto)

MidFull-time·Umowa o pracę

#412359·Dodano 5 dni temu·3

Źródło: nofluffjobs.com

Tech Stack / Keywords

KafkaKafka StreamskSQLKafka Connect

Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych
Znajomość brokerów, topiców, konsumentów, producentów, logów i mechanizmów replikacji
Biegła znajomość Kafka Streams, kSQL
Znajomość Kafka Connect

Opracowywanie prototypów i pełnych rozwiązań event-driven przy użyciu Apache Kafka, Kafka Connect, Kafka Streams, kSQL
Definiowanie schematów danych (Avro/Protobuf/JSON Schema) oraz wersjonowania
Tworzenie mikroserwisów w Spring Boot obsługujących zdarzenia Kafka (producent, konsument, stream processing)
Budowa warstwy API GraphQL z wykorzystaniem Quarkus/graalVM udostępniającej dane z MongoDB
Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg, innych baz i systemów
Zapewnienie transformacji danych przy pomocy Single Message Transforms (SMT) i własnych konwerterów
Opracowywanie prototypów i pełnych rozwiązań automatyzacji tworzenia konfiguracji topików i konektorów Kafka Connect, streamów kSQL, aplikacji Kafka Streams
Wdrażanie rozwiązań z wykorzystaniem Docker/Kubernetes
Automatyzacja procesów CI/CD
Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Datadog) dla przepływu zdarzeń
Diagnostyka problemów z replikacją, opóźnieniami i przetwarzaniem
Tuneowanie konfiguracji Kafki (partycje, retencja, wydajność, ISR itp.)
Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami i analitykami

Opieka zdrowotna

Karta sportowa

SQUARE ONE RESOURCES

173 aktywne oferty