Senior/ Mid Data Platform Developer
Tech Stack / Keywords
Firma i stanowisko
The role is for a Data Platform Developer joining a Data Platform team at a client in the banking sector. The project involves designing, building, and maintaining modern, scalable event-driven solutions using technologies such as Apache Kafka, Kafka Connect, kSQL, Kafka Streams, Spring Boot, Quarkus, graalVM, and NoSQL/analytic services including MongoDB, GraphQL, and Apache Iceberg.
Wymagania
- Practical experience (~3 years) with Apache Kafka in production environments.
- Knowledge of brokers, topics, consumers, producers, logs, and replication mechanisms.
- Good knowledge of Kafka Streams and kSQL.
- Ability to configure and develop Kafka Connect connectors.
- Proficient programming skills in Java and experience with Spring Boot, Spring Cloud, Spring Security, and Spring Data.
- Experience with MongoDB including schema design and query optimization.
- Knowledge of GraphQL and implementation of services.
- Basic familiarity with Apache Iceberg table format and metadata management.
- Experience with monitoring tools like Prometheus, Grafana, and OpenTelemetry.
- Knowledge of security concepts such as TLS, SASL, ACL, and data encryption.
- Knowledge of Python.
Obowiązki
- Develop prototypes and event-driven solutions using Apache Kafka, Kafka Connect, Kafka Streams, and kSQL.
- Define data schemas (Avro, Protobuf, JSON Schema) and manage versioning.
- Create microservices with Spring Boot handling Kafka events (producer, consumer, stream processing).
- Build GraphQL API layer using Quarkus and graalVM exposing data from MongoDB.
- Configure and develop Kafka Connect connectors for MongoDB, S3, Apache Iceberg, and other systems.
- Develop automation solutions for Kafka environment configurations.
- Implement metrics, logging, and tracing for event flows.
- Diagnose replication, latency, and processing issues and tune Kafka configurations.
- Collaborate in an Agile team with data engineers, DevOps specialists, and analysts.
Inne informacje
Informujemy, że administratorem danych jest Ideamotive Sp. z o. o. z siedzibą w Warszawie, ul. Złota 61/101 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
Ideamotive
62 aktywne oferty