Data Platform Developer

Nasz Klient to jeden z wiodących banków uniwersalnych w Polsce, należący do międzynarodowej grupy finansowej, oferujący kompleksowe usługi bankowe dla klientów indywidualnych oraz biznesowych.

• Minimum 3 lata praktycznego doświadczenia w pracy ze środowiskami produkcyjnymi
• Bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producerów, consumerów, logów oraz mechanizmów replikacji
• Praktyczna i bardzo dobra znajomość Kafka Streams oraz kSQL
• Doświadczenie w konfiguracji i rozwijaniu Kafka Connect, zarówno z wykorzystaniem gotowych, jak i własnych konektorów
• Bardzo dobra znajomość Javy oraz frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security i Spring Data
• Doświadczenie w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań w bazach NoSQL, w szczególności MongoDB
• Doświadczenie w implementacji usług GraphQL – definiowanie schematów, tworzenie resolverów oraz integracja z warstwą danych
• Podstawowa znajomość Apache Iceberg, w tym formatu tabel oraz mechanizmów zarządzania metadanymi
• Znajomość Javy oraz Pythona
• Doświadczenie z rozwiązaniami observability: Prometheus, Grafana oraz OpenTelemetry
• Znajomość zagadnień bezpieczeństwa: TLS, SASL, ACL, szyfrowanie danych w spoczynku oraz podczas transmisji
• Doświadczenie w pracy w metodykach Scrum/Kanban oraz z narzędziami Jira i Confluence

• Projektowanie, prototypowanie i rozwój rozwiązań event-driven z wykorzystaniem Apache Kafka, Kafka Connect, Kafka Streams i kSQL
• Definiowanie schematów danych w Avro, Protobuf i JSON Schema oraz zarządzanie ich wersjonowaniem
• Tworzenie mikroserwisów w Spring Boot obsługujących zdarzenia Kafka – producerów, consumerów oraz mechanizmy stream processing
• Budowa warstwy GraphQL API z wykorzystaniem Quarkus/GraalVM, udostępniającej dane przechowywane w MongoDB
• Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg oraz innych baz danych i systemów
• Implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów
• Automatyzacja tworzenia i zarządzania konfiguracją topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams
• Implementacja monitoringu i obserwowalności: Prometheus, Grafana, OpenTelemetry, Dynatrace, Vector, ELK
• Diagnozowanie problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem zdarzeń
• Optymalizacja konfiguracji Kafki, m.in. w zakresie partycjonowania, retencji oraz poziomów ISR
• Współpraca z Data Engineerami, DevOpsami i analitykami w środowisku Agile (Scrum/Kanban)
• Dzielenie się wiedzą w zespole poprzez prowadzenie warsztatów oraz tworzenie dokumentacji technicznej