Senior Data Platform Engineer (Kafka)

Poszukujemy doświadczonego Senior Data Platform Engineer (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven. Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.

• minimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych
• minimum 5 lata praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych
• bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji
• praktyczne doświadczenie z Kafka Streams oraz kSQL
• doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów
• bardzo dobra znajomość Java oraz Spring Boot
• doświadczenie w projektowaniu i budowie mikroserwisów
• znajomość schematów danych Avro, ProtoBuf oraz JSON Schema
• doświadczenie w pracy z MongoDB
• praktyczna znajomość Prometheus, Grafana oraz zagadnień związanych z observability
• znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych
• doświadczenie w pracy w metodykach Agile (Scrum/Kanban)

Nice to have:

• doświadczenie z GraphQL
• znajomość Apache Iceberg
• znajomość OpenTelemetry
• praktyczna znajomość Python
• doświadczenie w środowiskach chmurowych
• doświadczenie w automatyzacji procesów DevOps i CI/CD

• projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka
• budowa i rozwój mikroserwisów w Java oraz Spring Boot
• implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL
• projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink)
• definiowanie oraz wersjonowanie schematów danych (Avro, ProtoBuf, JSON Schema)
• integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych
• implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów
• rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych
• automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych na Kafka Streams
• wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska
• diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych
• optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji
• współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi
• udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole

Informujemy, że administratorem danych jest Upvanta sp. z o.o z siedzibą w Warszawie, ul. Prosta 70_(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.