Data Engineer / Streaming Platform Engineer (Kafka & Flink)

In4ge jest firmą rekrutacyjną, której celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje przyczyniające się do wzrostu i sukcesu każdej ze stron.

• Minimum 8 lat doświadczenia komercyjnego w obszarze Data Engineering lub pokrewnym.
• Bardzo dobra znajomość Apache Flink oraz Flink SQL.
• Doświadczenie z Apache Kafka i Confluent Platform.
• Znajomość Kafka Connect oraz Confluent Schema Registry.
• Doświadczenie z Kubernetes.
• Znajomość zagadnień związanych z przetwarzaniem strumieni danych (stream processing).
• Doświadczenie z formatem Avro oraz projektowaniem schematów danych.
• Bardzo dobra znajomość języka angielskiego.

Nice to have:

• Znajomość AsyncAPI.
• Doświadczenie w tworzeniu rozszerzeń dla Kafka Connect.
• Znajomość GitOps i procesów CI/CD.
• Doświadczenie z transformacją danych XML → Avro.
• Znajomość Flink Table API.

• Rozwój rozwiązań do przetwarzania danych w czasie rzeczywistym.
• Implementacja i optymalizacja logiki przetwarzania strumieni danych z wykorzystaniem Apache Flink.
• Realizacja rozwiązań opartych o Apache Kafka i Confluent Platform.
• Współtworzenie integracji oraz procesów transformacji danych.
• Wdrażanie komponentów w środowisku Kubernetes.
• Współpraca z międzynarodowymi zespołami technologicznymi przy realizacji celów projektowych.