Big Data Developer (PySpark / Spark / Hadoop)

• Minimum 4 lata doświadczenia jako Big Data Developer
• Minimum 3 lata doświadczenia ze Spark (PySpark lub Scala)
• Bardzo dobra znajomość SQL i swobodne operowanie na dużych zbiorach danych
• Doświadczenie w pracy z Hadoop (Cloudera / Hortonworks)
• Doświadczenie z formatami danych: JSON, Parquet, ORC, Avro
• Dobra znajomość ekosystemu Hadoop (Hive, HBase, Kudu lub podobne rozwiązania)
• Doświadczenie w integracji danych z wielu źródeł
• Wykształcenie wyższe kierunkowe (IT lub pokrewne)

Nice to have:

• Doświadczenie z chmurą (GCP lub Azure)
• Doświadczenie ze streamingiem (np. Kafka, Spark Streaming)
• Praca w metodykach Agile (Scrum, Kanban, Jira, Confluence)

• Projektowanie i rozwój systemów przetwarzania danych w środowisku Big Data
• Tworzenie i rozwijanie procesów ETL/ELT w oparciu o Spark (PySpark)
• Praca z dużymi wolumenami danych (Hadoop ecosystem)
• Integracja danych z wielu źródeł
• Udział w migracji rozwiązań do chmury (GCP)
• Dbanie o jakość kodu, dokumentację oraz procesy wdrożeniowe
• Współpraca z zespołami developerskimi i architektonicznymi
• Udział w inicjatywach R&D