Big Data Developer Spark

Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonej osoby do realizacji projektów dotyczących bankowości B2B i B2C, platform dla dużych kredytów, pożyczek profesjonalnych oraz aplikacji wspierających transformację cyfrową.

• Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering lub Software Engineering w środowisku Big Data.
• Zaawansowana znajomość oraz praktyczne doświadczenie w pracy z Apache Spark, Hive oraz SQL.
• Głębokie zrozumienie i doświadczenie w tworzeniu testowalnego kodu zgodnie z podejściem TDD.
• Wykształcenie wyższe: Computer Science, Software Engineering lub pokrewne.
• Solidne, praktyczne doświadczenie w programowaniu w języku Java.
• Bardzo dobra znajomość języka angielskiego (min. C1).

Nice to have:

• Praktyczne doświadczenie w programowaniu w Scali.
• CI/CD (Jenkins, GitLab CI lub podobne), Git flow, branching strategies.
• Python (szczególnie w kontekście Airflow i orkiestracji pipeline’ów).
• Doświadczenie z Azure (ADF, ADLS, Databricks lub pokrewne usługi).
• Znajomość architektury mikroserwisowej i REST API.

• Projektowanie i implementacja pipeline’ów do ingestu, transformacji i przetwarzania dużych wolumenów danych.
• Industrializacja rozwiązań data processing z naciskiem na skalowalność, niezawodność i odporność na błędy.
• Rozwój i optymalizacja jobów Spark/Scala (przetwarzanie wsadowe, data mapping, tuning wydajności).
• Udział w projektowaniu architektury Big Data oraz rekomendowanie rozwiązań technologicznych.
• Analiza źródeł danych oraz przekładanie wymagań biznesowych na specyfikacje techniczne.
• Code review oraz dbałość o jakość kodu, standardy TDD/BDD i dobre praktyki DevOps.
• Wsparcie produkcyjne (L3), troubleshooting i identyfikacja ryzyk technicznych.
• Tworzenie dokumentacji i test planów w środowisku Agile/Scrum.