Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom. Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• co najmniej 4 lata doświadczenia jako Data Engineer w GCP w obszarze procesów integracji danych
• dobra znajomość narzędzi ETL na GCP (Apache AirFlow, DataFlow, DataProc)
• biegłe posługiwanie się bazami danych GCP (BigQuery, BigTable, Scylla Cloud) oraz ich projektowanie i optymalizacja
• doświadczenie z kolejkami danych: Kafka, GCP Pub/Sub
• co najmniej 3 lata doświadczenia jako Developer ETL w środowiskach on‑prem
• biegła znajomość narzędzi ETL on‑prem: Informatica Power Center i NIFI
• ekspercka znajomość baz Oracle, PostgreSQL oraz ScyllaDB
• znajomość narzędzia harmonogramującego Automate Now
• umiejętność wystawiania usług REST API
• co najmniej 4 lata doświadczenia jako programista Python (data integration & analysis) oraz PySpark
• dobra znajomość języka Rust do tworzenia narzędzi do wydajnego ładowania danych
• zdolność do przejęcia odpowiedzialności za obszary wymagające wysokiej dostępności i wydajności
• podstawowa wiedza w zakresie programowania mikroserwisów w Java

Nice to have:

• znajomość Groovy
• znajomość GIT, Grafany i Apache JMeter
• samodzielność, kreatywność i terminowość w działaniu

• udział w projekcie z obszaru integracji oraz przetwarzania danych w środowiskach chmurowych i on‑prem
• realizacja zadań związanych z budową i rozwojem procesów integracyjnych w GCP oraz on‑prem
• praca z narzędziami ETL w środowisku GCP: Apache AirFlow, DataFlow, DataProc
• wykorzystanie baz danych GCP: BigQuery, BigTable oraz Scylla Cloud
• praca z kolejkami danych: Kafka, GCP Pub/Sub
• projektowanie, budowa i tuning baz danych w środowiskach on‑prem (Oracle, PostgreSQL, ScyllaDB)
• korzystanie z narzędzi ETL na on‑prem na poziomie zaawansowanym: Informatica Power Center, NIFI
• praca z narzędziem harmonogramującym Automate Now (Infinity Data)
• tworzenie i wystawianie usług REST API
• rozwój narzędzi i frameworków w Pythonie oraz PySpark
• tworzenie narzędzi wspomagających wydajne ładowanie danych w języku Rust
• odpowiedzialność za obszar wystawiania danych pod usługi działające w wysokim reżimie wydajnościowym (24h)
• praca w środowisku dużych wolumenów danych (~100 TB)
• praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie