Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake
• Programowanie w Python i/lub Rust
• Znajomość technologii wykorzystywanych w architekturze sterowanej zdarzeniami (np. Kafka, Pub/Sub)
• Dobra znajomość baz danych GCP BigQuery – projektowanie, budowa i tuning baz danych
• Znajomość Oracle i PostgreSQL – projektowanie, budowa i tuning baz danych
• Zaawansowana znajomość systemu Linux

Nice to have:

• Doświadczenie w tworzeniu rozwiązań Big Data wykorzystujących GenAI (przetwarzanie danych niestrukturalnych: transkrypcje audio, dokumenty tekstowe, obrazy)
• Znajomość narzędzi Automate Now, Airflow
• Praktyka w Apache Spark (GCP Dataproc) lub Apache Beam (GCP DataFlow)
• Doświadczenie z Informatica PowerCenter

• Projektowanie i budowa rozwiązań klasy Data Lake i DWH, procesy zasilania online i offline
• Tworzenie przepływów danych w Python i Rust dla danych strukturalnych i niestrukturalnych
• Analiza danych oraz przygotowywanie modeli logicznych i fizycznych
• Strojenie zapytań SQL na bazach relacyjnych i hurtowniach danych (on-prem i GCP)
• Tworzenie datamartów tematycznych na bazach relacyjnych i kolumnowych
• Projektowanie i implementacja rozwiązań zgodnie z wymaganiami biznesowymi
• Usuwanie incydentów, wsparcie testów, wdrożeń i serwisowanie oprogramowania
• Praca zgodnie z modelem DevSecOps
• Praca hybrydowa (raz w tygodniu praca z Warszawy)