Data engineer
150 - 170 PLN/ godz.B2B
MidFull-time·B2B
#369903·Dodano dziś·0
Źródło: ITFSTech Stack / Keywords
Data LakeSQLGCPRustETLKafkaGenAIBigQuery
Firma i stanowisko
ITFS is the company offering this position.
Wymagania
Poszukiwane kompetencje:
- Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT
- Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake i DWH
- Znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takich jak np. Kafka, Pub/Sub
- Znajomość aspektów związanych z budową rozwiązań BigData wykorzystujących możliwości GenAI
- Znajomość Google BigQuery
- Znajomość Kubernetes (najlepiej Google Kubernetes Engine i OpenShift)
- Znajomość relacyjnych baz danych Oracle i PostgreSQL (projektowanie, budowa i tuning baz danych)
- Doświadczenie w Python i/lub Rust
- Znajomość Apache AirFlow
Obowiązki
Zakres obowiązków:
- Budowanie rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych zarówno on-line, jak i off-line
- Projektowanie i realizowanie rozwiązań informatycznych w obszarze zasilania danych
- Analizowanie danych oraz przygotowywanie modeli logicznych i fizycznych
- Strojenie zapytań SQL na bazach relacyjnych i hurtownianych, zarówno on-prem, jak i w chmurze GCP
- Tworzenie przepływów off-line i on-line w narzędziach on-prem oraz GCP
- Tworzenie rozwiązań do ładowania danych w Pythonie i Rust dla danych strukturalnych i niestrukturalnych
- Przygotowywanie datamartów tematycznych na bazach relacyjnych i kolumnowych
- Tworzenie koncepcji oraz implementowanie rozwiązań w oparciu o wymagania i potrzeby biznesowe
- Usuwanie incydentów oraz udział w rozwiązywaniu problemów
- Wspieranie testów i wdrożeń zmian w zakresie procesów zasilania danych
Oferta
- Możliwość skorzystania z dodatkowych benefitów (pakiet medyczny, sportowy, darmowa opieka księgowa - do 3 wpisów miesięcznie)
Opieka zdrowotna
Karta sportowa
ITFS
45 aktywnych ofert