Data Platform Developer

Dla naszego klienta, firmy z sektora bankowego realizującej nowoczesne projekty z obszaru Data & Technology, poszukujemy doświadczonego Data Platform Developera, który dołączy do zespołu rozwijającego skalowalną platformę danych opartą na architekturze event-driven.

Must-have:

• Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych
• Znajomość brokerów, topiców, konsumentów, producentów, logów oraz mechanizmów replikacji w Apache Kafka
• Biegła znajomość Kafka Streams i kSQL
• Doświadczenie w konfiguracji i rozwoju konektorów Kafka Connect, zarówno gotowych, jak i własnych

Wymagania:

• Bardzo dobra znajomość Java i frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security, Spring Data
• Doświadczenie z MongoDB w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań
• Doświadczenie w implementacji serwisów GraphQL, definiowaniu schematów i resolverów
• Podstawowa znajomość formatu tabel i zarządzania metadanymi w Apache Iceberg
• Praktyczna znajomość języków Java i Python
• Doświadczenie z monitoringiem i obserwowalnością: Prometheus, Grafana, OpenTelemetry
• Znajomość bezpieczeństwa: TLS, SASL, ACL oraz szyfrowania danych w spoczynku i tranzycie
• Doświadczenie w pracy w Agile (Scrum/Kanban) oraz znajomość Jira i Confluence

• Projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka
• Tworzenie mikroserwisów w Java / Spring Boot obsługujących zdarzenia Kafka
• Praca z Kafka Streams oraz kSQL
• Projektowanie i wersjonowanie schematów danych: Avro, Protobuf, JSON Schema
• Konfiguracja i rozwój Kafka Connect, w tym konektorów source/sink
• Integracja Kafki z MongoDB, S3, Apache Iceberg oraz innymi bazami i systemami
• Implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów
• Rozwój warstwy API GraphQL udostępniającej dane z MongoDB
• Automatyzacja konfiguracji topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams
• Wdrażanie rozwiązań związanych z monitoringiem i obserwowalnością – Prometheus, Grafana, OpenTelemetry
• Diagnostyka problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem danych
• Optymalizacja konfiguracji Apache Kafka, m.in. partycji, retencji i mechanizmów replikacji
• Współpraca z Data Engineerami, DevOpsami oraz analitykami w środowisku Agile
• Dokumentowanie rozwiązań oraz dzielenie się wiedzą z zespołem

Informujemy, że administratorem danych jest Upvanta sp. z o.o z siedzibą w Warszawie, ul. Prosta 70_(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.