Data engineer

ITFS is the company offering this position.

Poszukiwane kompetencje:

• Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT
• Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake i DWH
• Znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takich jak np. Kafka, Pub/Sub
• Znajomość aspektów związanych z budową rozwiązań BigData wykorzystujących możliwości GenAI
• Znajomość Google BigQuery
• Znajomość Kubernetes (najlepiej Google Kubernetes Engine i OpenShift)
• Znajomość relacyjnych baz danych Oracle i PostgreSQL (projektowanie, budowa i tuning baz danych)
• Doświadczenie w Python i/lub Rust
• Znajomość Apache AirFlow

Zakres obowiązków:

• Budowanie rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych zarówno on-line, jak i off-line
• Projektowanie i realizowanie rozwiązań informatycznych w obszarze zasilania danych
• Analizowanie danych oraz przygotowywanie modeli logicznych i fizycznych
• Strojenie zapytań SQL na bazach relacyjnych i hurtownianych, zarówno on-prem, jak i w chmurze GCP
• Tworzenie przepływów off-line i on-line w narzędziach on-prem oraz GCP
• Tworzenie rozwiązań do ładowania danych w Pythonie i Rust dla danych strukturalnych i niestrukturalnych
• Przygotowywanie datamartów tematycznych na bazach relacyjnych i kolumnowych
• Tworzenie koncepcji oraz implementowanie rozwiązań w oparciu o wymagania i potrzeby biznesowe
• Usuwanie incydentów oraz udział w rozwiązywaniu problemów
• Wspieranie testów i wdrożeń zmian w zakresie procesów zasilania danych