Data Platform Developer

Dla naszego klienta, firmy z sektora bankowego realizującej nowoczesne projekty z obszaru Data & Technology, poszukujemy doświadczonego Data Platform Developera, który dołączy do zespołu rozwijającego skalowalną platformę danych opartą na architekturze event-driven. Szukamy osoby, która dobrze czuje się w świecie Apache Kafka i Java, ma doświadczenie w budowaniu mikroserwisów oraz rozumie zagadnienia związane z integracją danych, DevOps, monitoringiem i środowiskami produkcyjnymi.

• Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych
• Znajomość Apache Kafka – brokerów, topiców, konsumentów, producentów, logów oraz mechanizmów replikacji
• Biegła znajomość Kafka Streams i kSQL
• Doświadczenie w konfiguracji i rozwoju konektorów Kafka Connect (gotowych i własnych)
• Bardzo dobra znajomość Java i frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security, Spring Data
• Doświadczenie z MongoDB – projektowanie schematów dokumentowych, indeksowanie, optymalizacja zapytań
• Doświadczenie w implementacji serwisów GraphQL, definiowanie schematów i resolverów
• Podstawowa znajomość Apache Iceberg
• Praktyczna znajomość Java i Python
• Znajomość zagadnień związanych z monitoringiem i observability: Prometheus, Grafana, OpenTelemetry
• Znajomość bezpieczeństwa: TLS, SASL, ACL, szyfrowanie danych w spoczynku i tranzycie
• Doświadczenie w pracy w Scrum / Kanban oraz znajomość Jira i Confluence

• Projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka
• Tworzenie mikroserwisów w Java / Spring Boot obsługujących zdarzenia Kafka
• Praca z Kafka Streams oraz kSQL
• Projektowanie i wersjonowanie schematów danych: Avro, Protobuf, JSON Schema
• Konfiguracja i rozwój Kafka Connect, w tym konektorów source/sink
• Integracja Kafki z MongoDB, S3, Apache Iceberg oraz innymi bazami i systemami
• Implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów
• Rozwój warstwy API GraphQL udostępniającej dane z MongoDB
• Automatyzacja konfiguracji topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams
• Wdrażanie rozwiązań związanych z monitoringiem i obserwowalnością – Prometheus, Grafana, OpenTelemetry
• Diagnostyka problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem danych
• Optymalizacja konfiguracji Apache Kafka, m.in. partycji, retencji i mechanizmów replikacji
• Współpraca z Data Engineerami, DevOpsami oraz analitykami w środowisku Agile
• Dokumentowanie rozwiązań oraz dzielenie się wiedzą z zespołem