Senior Big Data Engineer (bankowość)

Rola Programisty BigData polega na tworzeniu rozwiązań do przetwarzania dużych zbiorów danych, które mają na celu efektywne zarządzanie danymi w organizacji.

• Min. 5 lat doświadczenia w branży informatycznej
• Doświadczenie w projektowaniu architektury rozwiązań
• Znajomość koncepcji Big Data oraz Hurtowni Danych
• Znajomość platformy Hadoop Cloudera/Hortonworks lub podobnego narzędzia
• Umiejętność programowania w Spark procesów batch i streaming w Pythonie lub Scali (min. 4 lata)
• Znajomość technologii Apache Kafka
• Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO
• Znajomość SQL na poziomie zaawansowanym
• Zrozumienie typów baz danych (np. Hive, Kudu, HBase)
• Doświadczenie w integracji danych z wielu źródeł

Nice to have:

• Praktyczna znajomość narzędzi Agile (Jira, Confluence, Kanban, Scrum)
• Doświadczenie w automatyzacji CI/CD

• Wdrażanie i projektowanie architektury systemów big data
• Implementacja procesów przetwarzania danych zgodnie z wymaganiami klienta
• Praca w zespole zgodnie z metodyką Scrum
• Integracja różnych źródeł danych
• Dokumentacja i testowanie rozwiązań big data