Regular Big Data Engineer (bankowość)

Rola Programisty BigData polega na tworzeniu rozwiązań do przetwarzania dużych zbiorów danych, które mają na celu efektywne zarządzanie danymi w organizacji.

• Min. 2 lata doświadczenia w programowaniu w Spark w Python (lub Scala).
• Znajomość koncepcji Big Data, hurtowni danych oraz zarządzania danymi.
• Znajomość platformy Hadoop Cloudera/Hortonworks lub podobnego narzędzia.
• Dobre praktyki inżynieryjne i przetwarzanie dużych zbiorów danych.
• Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO.
• Umiejętność pisania zapytań w SQL na poziomie zaawansowanym.
• Doświadczenie w integracji danych z różnych źródeł.
• Znajomość narzędzi do budowy projektów/aplikacji, jak Maven.
• Doświadczenie z technologiami i narzędziami strumieniowymi (Kafka, Apache Nifi).

Nice to have:

• Praktyczna znajomość procesów i narzędzi Agile (Jira, Confluence, Kanban, Scrum).
• Znajomość platformy Kubeflow.
• Wiedza z zakresu automatyzacji CI/CD.

• Programowanie w Spark w języku Python (lub Scala) przy użyciu koncepcji Big Data.
• Praca z hurtowniami danych oraz zarządzenie danymi.
• Implementacja rozwiązań na platformie Hadoop Cloudera/Hortonworks.
• Wykorzystywanie dobrych praktyk inżynieryjnych w przetwarzaniu dużych danych, w tym projektowanie, modelowanie danych oraz testowanie i wdrażanie.
• Praca z różnymi formatami danych, takimi jak JSON, PARQUET, ORC, AVRO.
• Zrozumienie typów baz danych oraz scenariuszy użycia, jak hive, kudu, hbase, Iceberg.
• Stosowanie zaawansowanej znajomości SQL.
• Integracja danych z wielu źródeł danych.
• Użycie narzędzi do budowy projektów/aplikacji, takich jak Maven.