Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• masz minimum 3 lata doświadczenia na stanowisku Big Data Developer
• posiadasz wiedzę z zakresu Big Data, Hurtowni Danych i Zarządzania Danymi
• masz minimum 2-3 lata doświadczenia w programowaniu procesów Spark w Pythonie (lub Scali)
• pracowałeś(-aś) z różnymi formatami danych: JSON, PARQUET, ORC, AVRO
• rozumiesz typy baz danych i scenariusze ich użycia (np. Hive, Kudu, HBase)
• znasz SQL
• masz doświadczenie w integracji danych z wielu źródeł

Nice to have:

• posiadasz praktyczną znajomość procesów i narzędzi Agile (Jira, Confluence, Kanban, Scrum)
• stosujesz dobre praktyki przetwarzania dużych zbiorów danych, w tym standardy kodowania, dokumentowania, testowania i wdrażania
• znasz platformę Kubeflow i masz praktyczne doświadczenie w automatyzacji CI/CD

• uczestnictwo w projekcie dot. branży bankowej
• projektowanie architektury i wdrażanie nowoczesnych systemów przetwarzania danych w obszarze Big Data
• dbanie o wysoką jakość procesu rozwojowo-wdrożeniowego
• dbanie o wysoką jakość dokumentacji technicznej
• poszukiwanie nowych rozwiązań oraz ich implementację (R&D)
• współpraca z innymi zespołami w celu wsparcia developmentu
• praca w modelu hybrydowym: 2 razy w miesiącu w biurze w Warszawie