Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• minimum 3 lata doświadczenia na stanowisku Big Data Developer
• wiedza z zakresu Big Data, Hurtowni Danych i Zarządzania Danymi
• minimum 2-3 lata doświadczenia w programowaniu procesów Spark w Pythonie (lub Scali)
• doświadczenie z różnymi formatami danych: JSON, PARQUET, ORC, AVRO
• rozumienie typów baz danych i scenariuszy ich użycia (np. Hive, Kudu, HBase)
• znajomość SQL
• doświadczenie w integracji danych z wielu źródeł
• praktyczna znajomość procesów i narzędzi Agile (Jira, Confluence, Kanban, Scrum) – mile widziane
• stosowanie dobrych praktyk przetwarzania dużych zbiorów danych, w tym standardów kodowania, dokumentowania, testowania i wdrażania – mile widziane
• znajomość platformy Kubeflow i praktyczne doświadczenie w automatyzacji CI/CD – mile widziane

• uczestnictwo w projekcie dot. branży bankowej
• projektowanie architektury i wdrażanie nowoczesnych systemów przetwarzania danych w obszarze Big Data
• dbanie o wysoką jakość procesu rozwojowo-wdrożeniowego
• dbanie o wysoką jakość dokumentacji technicznej
• poszukiwanie nowych rozwiązań oraz ich implementację (R&D)
• współpraca z innymi zespołami w celu wsparcia developmentu
• praca w modelu hybrydowym: 2 razy w miesiącu w biurze w Warszawie