Senior Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom. Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• praktyczne doświadczenie w pracy z Neo4j
• dobra znajomość koncepcji teorii grafów oraz zasad ich wykorzystania w systemach IT
• doświadczenie w modelowaniu grafów i optymalizacji wydajności
• praca w środowisku chmurowym GCP
• znajomość zagadnień związanych z budową pipeline’ów ETL/ELT
• doświadczenie z technologiami event-driven, takimi jak Kafka lub Pub/Sub
• zrozumienie aspektów budowy rozwiązań Big Data z wykorzystaniem GenAI
• znajomość Google BigQuery
• programowanie w Pythonie
• doświadczenie w pracy z narzędziami CI/CD

Nice to have:

• znajomość: Apache Spark (preferowane GCP Dataproc), Apache Beam (preferowane GCP Dataflow), Airflow, Rust

• udział w budowie i rozwoju rozwiązań klasy Data Lake oraz Data Warehouse
• projektowanie oraz realizacja rozwiązań informatycznych w obszarze zasilania i przetwarzania danych
• analiza danych oraz przygotowywanie modeli logicznych i fizycznych
• tworzenie przepływów danych off-line i on-line z wykorzystaniem narzędzi on-premise oraz usług chmurowych Google Cloud Platform
• rozwój rozwiązań do ładowania danych w Pythonie oraz Rust dla danych strukturalnych i niestrukturalnych
• przygotowywanie tematycznych datamartów na bazach relacyjnych i kolumnowych
• opracowywanie koncepcji oraz implementacja rozwiązań w oparciu o wymagania i potrzeby biznesowe
• udział w usuwaniu incydentów oraz rozwiązywaniu problemów technicznych
• wsparcie testów oraz wdrożeń zmian w obszarze procesów zasilania danych