Big Data Engineer

Dla naszego klienta, lidera innowacyjnych rozwiązań bankowych poszukujemy osób na stanowisko Big Data Developer, posiadających komercyjne doświadczenie w technologiach Hadoop, Spark oraz Python. Zespół pracuje głównie w trybie zdalnym (90%) z dowolnego miejsca w Polsce. Spotkania zespołowe F2F odbywają się raz na 2 tygodnie w biurze klienta w centrum Warszawy.

• Min. 2 lata doświadczenia w programowaniu w Spark w Python (lub Scala)
• Znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi
• Znajomość platformy Hadoop Cloudera/Hortonworks
• Znajomość dobrych praktyk inżynieryjnych, przetwarzania dużych zbiorów danych, w tym standardów projektowania, technik modelowania danych, kodowania, dokumentowania, testowania i wdrażania
• Doświadczenie z różnymi formatami danych: JSON, PARQUET, ORC, AVRO
• Zrozumienie typów baz danych i scenariuszy użycia, np. hive, kudu, hbase, Iceberg
• Znajomość języka SQL na poziomie zaawansowanym
• Doświadczenie w integracji danych z wielu źródeł danych
• Znajomość narzędzi do budowy projektów/aplikacji, np. Maven

Nice to have:

• Praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum
• Znajomość platformy Kubeflow
• Znajomość technologii i narzędzi strumieniowych takich jak Kafka, Apache Nifi
• Praktyczna wiedza w zakresie automatyzacji CI/CD

• Budowanie mechanizmów streamingowych i ich optymalizacja w projekcie przetwarzań streamingowych.