Senior/ Mid Data Platform Developer

Poszukujemy Data Platform Developera, który dołączy do zespołu Data Platform u klienta z obszaru bankowości. Platforma opiera się na Apache Kafka, Kafka Connect, kSQL, Kafka Streams, Spring Boot, Quarkus, graalVM, usługach NoSQL i analitycznych, w tym MongoDB, GraphQL i Apache Iceberg.

• Praktyczne doświadczenie w środowiskach produkcyjnych z wykorzystaniem Apache Kafka (około 3 lat).
• Znajomość brokerów, topików, konsumentów, producentów, logów i mechanizmów replikacji.
• Dobra znajomość Kafka Streams oraz kSQL.
• Umiejętność konfiguracji i rozwoju konektorów w Kafka Connect.
• Biegłość w programowaniu w Java oraz znajomość frameworka Spring (Boot, Cloud, Security, Data).
• Doświadczenie z bazą MongoDB, w tym projektowanie schematów i optymalizacja zapytań.
• Znajomość GraphQL i umiejętność implementacji serwisów.
• Podstawowa znajomość formatu tabel i zarządzania metadanymi w Apache Iceberg.
• Doświadczenie w pracy z narzędziami do monitoringu (Prometheus, Grafana, OpenTelemetry).
• Znajomość zagadnień z obszaru bezpieczeństwa, takich jak TLS, SASL, ACL i szyfrowanie danych.
• Znajomość języka Python.

Nice to have:

• Znajomość Apache
• Doświadczenie z Prometheus
• Doświadczenie z Grafana

• Opracowywanie prototypów i rozwiązań event-driven przy użyciu Apache Kafka, Kafka Connect, Kafka Streams oraz kSQL.
• Definiowanie schematów danych (Avro, Protobuf, JSON Schema) oraz ich wersjonowanie.
• Tworzenie mikroserwisów w Spring Boot obsługujących zdarzenia Kafka (producent, konsument, stream processing).
• Budowa warstwy API GraphQL z wykorzystaniem Quarkus i graalVM udostępniającej dane z MongoDB.
• Konfiguracja i rozwój konektorów Kafka Connect do MongoDB, S3, Apache Iceberg i innych systemów.
• Opracowywanie rozwiązań automatyzacji tworzenia konfiguracji dla środowiska Kafka.
• Implementacja metryk, logowania i śledzenia dla przepływu zdarzeń.
• Diagnostyka problemów z replikacją, opóźnieniami i przetwarzaniem oraz tuning konfiguracji Kafki.
• Współpraca w zespole Agile z inżynierami danych, specjalistami DevOps i analitykami.

Informujemy, że administratorem danych jest Ideamotive Sp. z o. o. z siedzibą w Warszawie, ul. Złota 61/101. Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.