Big Data Engineer

Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Big Data Engineer. Projekt realizowany jest w obszarze bankowości B2B i B2C, w domenie C-Profit odpowiedzialnej za konsolidację i udostępnianie zespołom sprzedaży transakcji na produktach finansowych banku inwestycyjnego, w ramach modernizacji platformy danych opartej na technologiach Big Data oraz równoległej migracji do Azure.

• Minimum 4-5 lat doświadczenia w rozwoju oprogramowania.
• Praktyczne stosowanie metodyki TDD (Test-Driven Development).
• Wykształcenie wyższe kierunkowe (informatyka / inżynieria oprogramowania).
• Ekspercka znajomość Spark, Java, Hive oraz SQL.
• Biegła znajomość języka angielskiego.

Nice to have:

• Doświadczenie z DevOps, CI/CD, architekturą mikroserwisów i API.
• Znajomość narzędzi Big Data oraz systemu kontroli wersji Git.
• Znajomość Pythona, w tym w kontekście Airflow.
• Znajomość Scala i Azure DevOps.

• Dokumentacja techniczna, plany testów oraz deliverables projektowe dostarczane etapami zgodnie z harmonogramem.
• Projektowanie i wdrożenie rozwiązań do zbierania, transformacji i przetwarzania dużych zbiorów danych z wykorzystaniem Spark, Java, Hive i SQL.
• Implementacja jobów przetwarzania i mapowania danych z użyciem Spark/Scala, zgodnie z wymaganiami biznesowymi.
• Analiza danych z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników.
• Przygotowanie rekomendacji dotyczących strategii architektury Big Data na podstawie ustaleń z interesariuszami projektu.
• Industrializacja procesów przetwarzania danych pod kątem niezawodności, odporności i wydajności.
• Zapewnienie wsparcia aplikacji oraz rozwiązywanie problemów produkcyjnych.