Data Engineer

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

• Minimum 2 lata doświadczenia w branży IT
• Dobra znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi
• Doświadczenie z platformami Hadoop (Cloudera lub Hortonworks)
• Minimum 1 rok doświadczenia w programowaniu Apache Spark (Python lub Scala)
• Praktyczna znajomość formatów danych: JSON, PARQUET, ORC, AVRO
• Zrozumienie typów baz danych i ich zastosowań (Hive, Kudu, HBase itp.)
• Bardzo dobra znajomość SQL
• Doświadczenie w integracji danych z wielu źródeł

Nice to have:

• Praktyczna znajomość narzędzi i procesów Agile (Jira, Confluence, Scrum, Kanban)
• Znajomość dobrych praktyk przetwarzania dużych zbiorów danych (clean code, testy, dokumentacja, deployment)
• Doświadczenie z platformą Kubeflow
• Wiedza z zakresu automatyzacji CI/CD

Zakres obowiązków

• Projektowanie, rozwój i optymalizacja procesów przetwarzania danych w środowisku Big Data
• Implementacja i utrzymanie jobów Spark (Python lub Scala)
• Integracja danych z wielu, różnorodnych źródeł
• Praca z różnymi formatami danych (JSON, Parquet, ORC, Avro)
• Współpraca z zespołami analitycznymi i biznesowymi
• Dbanie o jakość kodu, dokumentację oraz testy
• Praca w metodykach zwinnych (Scrum/Kanban)