Scalo

Data Engineer

140 - 150 PLN/ godz./ godz.B2BB2B (netto)

SeniorHybryda·WarszawaFull-time·B2B

#475282·Dodano 10 dni temu·0

Źródło: nofluffjobs.com

Aplikuj teraz

Tech Stack / Keywords

ETL SQL BigQuery Python Rust KafkaPub/SubOracle PostgreSQL Linux Apache SparkApache BeamGoogle Cloud Kubernetes Docker CI/CDInformatica PowerCenterAutomateNOW

Podsumowanie oferty

Jako Data Engineer będziesz projektować, rozwijać i optymalizować procesy ETL/ELT oraz pipeline’y przetwarzania danych w trybie batch i streaming. Praca obejmuje zasilanie BigQuery i hurtowni danych, integracje oraz przetwarzanie danych z użyciem SQL, Python i/lub Rust.

Wymagania

Minimum 5 lat doświadczenia na podobnym stanowisku.
Doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych.
Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
Praktyczna znajomość BigQuery, obejmująca projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizację wydajności i kosztów zapytań.
Doświadczenie w programowaniu w Pythonie i/lub Rust.
Znajomość przetwarzania danych w trybie batch i streaming.
Znajomość architektury sterowanej zdarzeniami oraz technologii takich jak Kafka lub Pub/Sub.
Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.
Znajomość systemu Linux.

Mile widziane:

Znajomość Apache Spark, Apache Beam lub Google Cloud Dataflow.
Doświadczenie z Kubernetes, Docker oraz procesami CI/CD.
Znajomość Informatica PowerCenter lub innych narzędzi klasy ETL.
Znajomość AutomateNOW.
Znajomość systemów kampanijnych, procesów segmentacji klientów lub przygotowywania danych na potrzeby marketing automation.

Obowiązki

Projektowanie, budowa i rozwój procesów ETL/ELT oraz pipeline’ów przetwarzania danych w trybie batch i streaming.
Tworzenie procesów zasilających BigQuery, hurtownie danych i Data Lake.
Integracja danych z systemów on-premise, chmury GCP, baz danych, plików i interfejsów API.
Projektowanie logicznych i fizycznych modeli danych.
Przygotowywanie warstw danych, datamartów tematycznych oraz zbiorów wykorzystywanych w procesach analitycznych i kampanijnych.
Tworzenie i optymalizacja zapytań SQL w relacyjnych oraz kolumnowych bazach danych.
Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Rust.
Budowa przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub.
Optymalizacja wydajności procesów oraz kosztów przetwarzania danych w środowisku GCP.
Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania.
Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania.
Przygotowywanie testów oraz wsparcie wdrożeń zmian w procesach zasilania danych.

Benefity

Możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services.
Możliwość zaangażowania się w dodatkowe inicjatywy presealsowe oraz eksperckie.
Dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Karta sportowa

Opieka zdrowotna

Inne informacje

Projekt realizowany hybrydowo; obecność w biurze w Warszawie raz w tygodniu.

Scalo

870 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz