Programista BigData (Regular)

Głównym celem roli Programisty BigData jest projektowanie i wdrażanie rozwiązań przetwarzania dużych zbiorów danych przy użyciu technologii Big Data, co wspiera organizację w analizie i zarządzaniu danymi.

• Min. 2 lata doświadczenia w programowaniu w Spark w Pythonie lub Scali.
• Znajomość koncepcji Big Data oraz hurtowni danych.
• Doświadczenie z platformą Hadoop Cloudera/Hortonworks.
• Znajomość dobrych praktyk inżynieryjnych w przetwarzaniu danych.
• Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO.
• Zrozumienie typów baz danych, takich jak Hive, Kudu, HBase, Iceberg.
• Zaawansowana znajomość SQL.
• Doświadczenie w integracji danych z wielu źródeł.
• Znajomość narzędzi budowlanych, takich jak Maven.

Nice to have:

• Znajomość narzędzi Agile, takich jak Jira, Confluence, Kanban, Scrum.
• Znajomość platformy Kubeflow.
• Doświadczenie z technologiami strumieniowymi: Kafka, Apache NiFi.
• Wiedza na temat automatyzacji CI/CD.

• Rozwój i utrzymanie aplikacji opartych na technologii Spark w językach Python lub Scala.
• Implementacja koncepcji Big Data oraz zarządzanie danymi w hurtowniach danych.
• Praca na platformach Hadoop Cloudera lub Hortonworks.
• Stosowanie dobrych praktyk inżynieryjnych przy przetwarzaniu dużych zbiorów danych.
• Analiza i integracja danych z różnych źródeł.
• Opracowywanie danych w różnych formatach, takich jak JSON, PARQUET, ORC, AVRO.
• Wykonywanie zapytań SQL na poziomie zaawansowanym.