Mid/Senior Big Data Engineer (bankowość)

Branża: bankowość

• Min. 5 lat doświadczenia w branży informatycznej.
• Doświadczenie w projektowaniu architektury rozwiązań.
• Znajomość konceptów Big Data i hurtowni danych.
• Znajomość platformy Hadoop Cloudera/Hortonworks.
• Duże doświadczenie (min. 4 lata) w programowaniu procesów batch w Python (lub Scala).
• Duże doświadczenie (min. 4 lata) w programowaniu procesów streaming w Python (lub Scala).
• Znajomość technologii Apache Kafka.
• Znajomość formatów danych: JSON, PARQUET, ORC, AVRO.
• Znajomość języka SQL na poziomie zaawansowanym.
• Doświadczenie w integracji danych z wielu źródeł danych.

Nice to have:

• Praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum.
• Praktyczna wiedza w zakresie automatyzacji CI/CD.

• Wdrażanie i projektowanie architektury rozwiązań big data.
• Tworzenie i optymalizacja procesów przetwarzania danych za pomocą technologii Hadoop.
• Implementacja procesów batch i streaming w językach Python/Scala.
• Integracja danych z różnych źródeł danych.
• Zapewnienie zgodności z dobrymi praktykami w zakresie przetwarzania danych.