Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• posiadasz min. 5-letnie doświadczenie jako Data Engineer w GCP w obszarze integracji danych
• bardzo dobrze znasz GCP BigQuery, BigTable oraz Scylla Cloud (projektowanie, budowa, tuning)
• masz doświadczenie z Apache Airflow, GCP DataFlow oraz DataProc
• pracowałeś z systemami kolejkowymi (Kafka, GCP Pub/Sub)
• posiadasz min. 4-letnie doświadczenie w ETL na środowiskach on-prem
• bardzo dobrze znasz narzędzia ETL (Informatica PowerCenter, NiFi)
• posiadasz ekspercką wiedzę z zakresu baz danych (Oracle, PostgreSQL, ScyllaDB)
• masz doświadczenie z narzędziem Automate Now firmy Infinity Data
• potrafisz tworzyć i wystawiać usługi REST API
• posiadasz min. 3-letnie doświadczenie w Python (w tym PySpark)
• znasz język Rust w kontekście budowy wydajnych narzędzi
• znasz Linux na poziomie zaawansowanym
• masz doświadczenie w pracy z dużymi wolumenami danych
• cechuje Cię analityczne myślenie, samodzielność i kreatywność

Nice to have:

• znajomość Java (microservices)
• Git
• Grafana
• Apache JMeter

• uczestnictwo w projekcie z branży bankowej, obejmującym przetwarzanie dużych wolumenów danych (~100TB) oraz budowę rozwiązań do wysokowydajnej integracji i udostępniania danych
• projektowanie, budowa i tuning rozwiązań data engineeringowych w środowisku GCP
• tworzenie i rozwój procesów integracji danych (ETL/ELT) w chmurze i środowisku on-prem
• utrzymanie i rozwój pipeline’ów danych z wykorzystaniem Apache Airflow oraz DataFlow
• optymalizacja wydajności przetwarzania i ładowania danych (BigQuery, BigTable, ScyllaDB)
• praca z systemami kolejkowymi (Kafka, Pub/Sub)
• tworzenie i utrzymywanie usług REST API
• rozwój narzędzi wspierających przetwarzanie danych (Python, PySpark, Rust)
• zarządzanie harmonogramowaniem procesów (Automate Now)
• współpraca przy migracji i integracji rozwiązań on-prem z GCP
• praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie