Flink Data Engineer | Branża medialna

Nasz klient to globalna platforma cyfrowa działająca na ogromną skalę, obsługująca setki milionów użytkowników na całym świecie. Firma koncentruje się na tworzeniu konsumenckich produktów subskrypcyjnych, które łączą użytkowników z twórcami treści poprzez spersonalizowane, oparte na danych doświadczenia. Kultura organizacyjna opiera się na współpracy, eksperymentowaniu oraz doskonałości inżynieryjnej w wysoce rozproszonym, cloud-native środowisku.

• Silne, praktyczne doświadczenie z Apache Flink, w tym w tworzeniu rozwiązań z wykorzystaniem DataStream API
• Udokumentowane doświadczenie w utrzymaniu i aktualizacji środowisk Flink, najlepiej z ekspozycją na Flink 2.0
• Bardzo dobra znajomość architektury pipeline’ów streamingowych, optymalizacji wydajności, zarządzania stanem oraz mechanizmów odporności na awarie
• Doświadczenie w migracji dużych zbiorów danych z BigQuery do Data Cloud Storage
• Bardzo dobra znajomość konwersji formatów danych, szczególnie z Avro do Parquet
• Umiejętność projektowania, skalowania i automatyzacji procesów migracyjnych przy zapewnieniu integralności danych oraz minimalnych zakłóceń w działaniu usług
• Solidna znajomość Google Cloud Platform oraz usług danych dostępnych w GCP
• Dobra znajomość systemów rozproszonych, ewolucji schematów oraz strategii optymalizacji przechowywania danych
• Umiejętność rozbijania złożonych wyzwań migracyjnych i platformowych na jasne, możliwe do realizacji kroki
• Proaktywne podejście, silne poczucie odpowiedzialności za rozwiązania oraz umiejętność identyfikacji ryzyk
• Praktyczne doświadczenie w wykorzystywaniu narzędzi opartych na AI do przyspieszania migracji danych, transformacji lub walidacji
• Zrozumienie, w jaki sposób uczenie maszynowe lub inteligentna automatyzacja mogą być wykorzystywane do optymalizacji i monitorowania przepływów danych
• Praktyczne doświadczenie w korzystaniu z asystentów AI, takich jak Claude Code, GitHub Copilot czy Cursor, w celu zwiększenia produktywności, jakości lub trafności decyzji w procesie dostarczania oprogramowania

Nice to have:

• Doświadczenie w pracy przy wysokoskalowych, konsumenckich platformach danych
• Doświadczenie w długoterminowych programach migracyjnych obejmujących wiele źródeł danych i formatów
• Znajomość narzędzi oraz praktyk związanych z obserwowalnością, monitoringiem i alertowaniem w systemach streamingowych
• Zainteresowanie oraz znajomość rozwijających się praktyk AI-driven, takich jak workflowy agentowe, wzorce automatyzacji czy AI-augmented development, wraz z gotowością do eksplorowania i eksperymentowania poza standardowymi podejściami

• Rozwój i usprawnianie pipeline’ów przetwarzania danych w czasie rzeczywistym z wykorzystaniem Apache Flink
• Migracja istniejących zadań Flink opartych na DataStream API oraz dostosowywanie ich do nowszych standardów platformowych
• Prowadzenie i realizacja aktualizacji platformy Flink do wersji 2.0
• Projektowanie, optymalizacja i utrzymanie wysokowydajnych, odpornych na awarie architektur streamingowych
• Migracja dużych zbiorów danych z BigQuery do Data Cloud Storage
• Skalowanie i automatyzacja bieżących procesów migracji danych w celu obsługi rosnących wolumenów danych
• Konwersja zbiorów danych z formatu Avro do Parquet z uwzględnieniem wydajności, ewolucji schematów oraz optymalizacji przechowywania danych
• Wykorzystywanie narzędzi AI do przyspieszania procesów migracji, walidacji i transformacji danych
• Zapewnienie jakości, integralności danych oraz minimalnych przestojów podczas migracji
• Współpraca z zespołami cross-funkcyjnymi oraz jasne komunikowanie zagadnień technicznych interesariuszom nietechnicznym