Senior Flink Data Engineer
Brak informacji o wynagrodzeniu
SeniorFull-time·B2B
#345492·Dodano wczoraj·0
Źródło: RITS Professional ServicesTech Stack / Keywords
CloudApacheAPIBigQueryGoogle Cloud PlatformGCPAIGitHub
Firma i stanowisko
RITS Group to firma informatyczna oferująca usługi programistyczne dla rynku polskiego i międzynarodowego. Klientem jest globalna platforma cyfrowa rozwijająca nowoczesne produkty subskrypcyjne oparte o dane i technologie cloud-native, obsługująca setki milionów użytkowników na całym świecie.
Wymagania
- Bardzo dobra znajomość Apache Flink, w tym praktyczne doświadczenie z DataStream API
- Doświadczenie w utrzymaniu i upgrade’ach środowisk Flink (mile widziane doświadczenie z Flink 2.0)
- Głębokie zrozumienie architektury systemów streamingowych, performance tuningu, state management oraz fault tolerance
- Doświadczenie w migracji dużych zbiorów danych z BigQuery (BQ) do Data Cloud Storage (DCS)
- Bardzo dobra znajomość konwersji formatów danych, szczególnie Avro → Parquet
- Umiejętność projektowania, skalowania i automatyzacji procesów migracyjnych
- Dobra znajomość Google Cloud Platform (GCP) oraz usług data/cloud
- Zrozumienie systemów rozproszonych, schema evolution i strategii optymalizacji storage
- Umiejętność rozbijania złożonych problemów technicznych na konkretne działania
- Proaktywne podejście, ownership oraz umiejętność identyfikacji ryzyk
- Bardzo dobre umiejętności komunikacyjne, również w pracy z osobami nietechnicznymi
- Praktyczne doświadczenie z AI-powered assistants (np. Claude Code, GitHub Copilot, Cursor) wspierającymi software delivery
- Doświadczenie w wykorzystaniu AI do przyspieszania migracji, transformacji lub walidacji danych
- Rozumienie zastosowań machine learning i intelligent automation w obszarze data workflows
Nice to have:
- Doświadczenie przy dużych, consumer-facing platformach danych
- Udział w długoterminowych programach migracyjnych obejmujących wiele źródeł i formatów danych
- Znajomość observability, monitoringu i alertingu dla systemów streamingowych
- Zainteresowanie nowoczesnymi praktykami AI-driven engineering (agent workflows, AI-augmented development, automation patterns)
Obowiązki
- Rozwój i optymalizacja pipeline’ów streamingowych czasu rzeczywistego z wykorzystaniem Apache Flink
- Migracja istniejących jobów Flink opartych o DataStream API do nowych standardów platformowych
- Prowadzenie oraz realizacja upgrade’u platformy Flink do wersji 2.0
- Projektowanie, utrzymanie i optymalizacja wysokowydajnych oraz fault-tolerant architektur streamingowych
- Migracja dużych wolumenów danych z BigQuery (BQ) do Data Cloud Storage (DCS)
- Skalowanie i automatyzacja procesów migracyjnych wspierających rosnące wolumeny danych
- Konwersja danych z formatu Avro do Parquet z uwzględnieniem wydajności, schema evolution oraz optymalizacji storage
- Wykorzystanie narzędzi AI do przyspieszania migracji, walidacji i transformacji danych
- Zapewnienie jakości, integralności danych oraz minimalizacja downtime’u podczas migracji
- Współpraca z zespołami cross-funkcyjnymi oraz komunikacja zagadnień technicznych do interesariuszy biznesowych
Inne informacje
Praca wyłącznie z Polski (100% zdalnie).
RITS Professional Services
108 aktywnych ofert