Data Engineer (Senior)

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• masz co najmniej 5-letnie doświadczenie jako Data Engineer GCP w obszarze procesów integracji danych na GCP
• bardzo dobrze znasz bazy danych GCP: GCP Big Query, GCP Big Table, Scylla Cloud
• dobrze znasz narzędzia ETL Flow na GCP: Apache AirFlow, GCP Data Flow, GCP Data Proc
• korzystasz z kolejek Kafka oraz GCP Pub / Sub
• masz co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych on-prem
• biegle posługujesz się narzędziami ETL on-prem na poziomie zaawansowanym: Informatica Power Center, NIFI
• posiadasz ekspercką znajomość relacyjnych baz danych Oracle, PostgreSQL, ScyllaDB
• bardzo dobrze znasz narzędzie harmonogramujące Automate Now firmy Infinity Data
• potrafisz wystawiać usługi Rest API
• masz co najmniej 3-letnie doświadczenie jako programista
• biegle znasz Python w obszarze integracji i analizy danych oraz framework PySpark
• znasz język Rust do pisania narzędzi i frameworków wspomagających wydajne ładowanie danych

Nice to have:

• podstawowa wiedza w zakresie programowania MicroServices w języku JAVA
• korzystanie z systemu operacyjnego Linux na poziomie zaawansowanego użytkownika
• doświadczenie w pracy z dużymi wolumenami danych ~100TB
• umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy
• samodzielność i kreatywność w rozwiązywaniu problemów
• terminowość i rzetelność w realizacji projektów
• znajomość narzędzi pomocniczych: repozytorium GIT, narzędzi do monitorowania jak np. Grafana, narzędzi do testów wydajności jak Apache JMeter

• praca w obszarze procesów integracji danych na GCP
• praca w obszarze procesów integracji danych on-prem
• projektowanie, budowa i tuning baz danych
• korzystanie z narzędzi ETL na GCP i on-prem
• korzystanie z kolejek Kafka oraz GCP Pub / Sub
• wystawianie usług Rest API
• praca w języku Python oraz z frameworkiem PySpark
• wykorzystanie języka Rust do pisania narzędzi i frameworków wspomagających wydajne ładowanie danych
• z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym
• praca w modelu hybrydowym 1 raz w tygodniu z biura w Warszawie