Big Data Developer (PySpark / Spark / Hadoop)

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• Min. 4 lata doświadczenia jako Big Data Developer
• Praca ze Spark (PySpark lub Scala) od co najmniej 3 lat
• Bardzo dobra znajomość SQL i swobodne operowanie na dużych zbiorach danych
• Doświadczenie w pracy z Hadoop (Cloudera / Hortonworks)
• Praca z formatami danych: JSON, Parquet, ORC, Avro
• Dobre rozumienie ekosystemu Hadoop (Hive, HBase, Kudu lub podobne rozwiązania)
• Doświadczenie w integracji danych z wielu źródeł
• Wykształcenie wyższe kierunkowe (IT lub pokrewne)

Nice to have:

• Praca z chmurą (GCP lub Azure)
• Doświadczenie ze streamingiem (np. Kafka, Spark Streaming)
• Praca w metodykach Agile (Scrum, Kanban, Jira, Confluence)

• Projektowanie i rozwój systemów przetwarzania danych w środowisku Big Data
• Tworzenie i rozwijanie procesów ETL/ELT w oparciu o Spark (PySpark)
• Praca z dużymi wolumenami danych (Hadoop ecosystem)
• Integracja danych z wielu źródeł
• Udział w migracji rozwiązań do chmury (GCP)
• Dbanie o jakość kodu, dokumentację oraz procesy wdrożeniowe
• Współpraca z zespołami developerskimi i architektonicznymi
• Udział w inicjatywach R&D