Junior Big Data Developer (bankowość)

Głównym celem tej roli jest wnoszenie wkładu w projekty Big Data poprzez rozwój i zarządzanie procesami danych, zapewnienie skutecznej analizy i przechowywania danych, co ostatecznie ułatwia podejmowanie decyzji w organizacji.

• Minimum 2 lata doświadczenia w branży IT.
• Znajomość koncepcji Big Data, hurtowni danych i zarządzania danymi.
• Doświadczenia z Hadoop Cloudera/Hortonworks.
• Co najmniej rok doświadczenia w programowaniu procesów danych w Spark w Pythonie (lub Scali).
• Biegły w SQL na zaawansowanym poziomie.
• Zrozumienie różnych typów baz danych i przypadków użycia, takich jak Hive, Kudu, HBase itd.
• Doświadczenie w integracji danych z wielu źródeł danych.

Nice to have:

• Praktyczna wiedza o procesach i narzędziach Agile: Jira, Confluence, Kanban, Scrum itd.
• Znajomość najlepszych praktyk przetwarzania dużych zbiorów danych, w tym kodowania, dokumentacji, testowania i standardów wdrożenia.
• Znajomość platformy Kubeflow.
• Praktyczne doświadczenie z automatyzacją CI/CD.

• Opracowywanie i utrzymanie frameworków do przetwarzania danych przy użyciu Sparka w Pythonie lub Scali.
• Integruj dane z wielu źródeł w spójną architekturę.
• Obsługuje różne formaty danych, w tym JSON, PARQUET, ORC i AVRO.
• Wykorzystaj ekosystem Hadoop, a konkretnie Cloudera lub Hortonworks, do przechowywania i przetwarzania danych.
• Wdrażaj najlepsze praktyki w zarządzaniu i przetwarzaniu danych.
• Współpracuj z zespołami, aby zapewnić jakość i dostępność danych.