Data Engineer (K/M)

Brak informacji o wynagrodzeniu

MidZdalnie·WarszawaInne·B2B

#461488·Dodano 7 dni temu·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

BigQueryCloud StorageCloud Dataflow (Apache Beam)Cloud Composer (Apache Airflow)DatastreamPython SQL

Podsumowanie oferty

Data Engineer wesprze rozwój i utrzymanie platformy CDP opartej na architekturze Data Lakehouse w Google Cloud Platform dla klienta z branży paliwowo-energetycznej. Zakres obejmuje budowę i optymalizację potoków ETL/ELT oraz pracę z danymi w BigQuery.

Wymagania

Doświadczenie w co najmniej kilku projektach wdrożeniowych rozwiązań chmurowych w roli Data Engineer.
Minimum 6-miesięczne praktyczne doświadczenie w pracy z technologiami GCP (Google Cloud Platform).
Bardzo dobra znajomość usług GCP Data & Analytics: BigQuery (partycjonowanie, klastrowanie, tabele zewnętrzne, optymalizacja zapytań), Cloud Storage, Cloud Dataflow (Apache Beam) oraz Cloud Composer (Apache Airflow).
Znajomość usług wspierających integrację i zarządzanie danymi: Datastream (CDC/replikacja), Dataplex (metadane, jakość i pochodzenie danych), Pub/Sub (streaming) oraz Dataform (transformacje SQL w BigQuery).
Znajomość SQL (dialekt BigQuery) oraz Pythona, w tym Pandas, do transformacji i analizy danych.
Zrozumienie architektury medalionowej (Bronze/Silver/Gold), procesów ETL/ELT oraz zasad Data Governance, w tym deduplikacji i wersjonowania danych.
Znajomość Git, procesów CI/CD (np. Cloud Build) oraz konfiguracji Cloud Monitoring/Logging.
Bardzo dobre umiejętności komunikacyjne i organizacyjne oraz znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.

Obowiązki

Wspieranie zespołu projektowego i utrzymaniowego w budowie oraz rozwoju platformy CDP w architekturze Data Lakehouse (GCP).
Projektowanie, implementacja i optymalizacja potoków ETL/ELT w trybie batch i streaming.
Tworzenie i zarządzanie transformacjami danych w warstwach Bronze, Silver i Gold architektury medalionowej.
Orkiestracja przepływów danych i monitorowanie zadań.
Praca z mechanizmami CDC oraz replikacją danych ze źródeł transakcyjnych do BigQuery.
Dbanie o jakość danych, katalogowanie metadanych oraz zgodność z zasadami Data Governance.
Bliska współpraca z zespołami IT i technicznymi Project Managerami w środowisku międzynarodowym.

Benefity

Dofinansowanie szkoleń i certyfikatów.
Opieka medyczna LUX-MED.
Dofinansowanie w wysokości 50% do karty Multisport.
Dofinansowanie nauki języków.
Dostęp do platformy wellbeingowej.

Dofinansowanie szkoleń

Opieka zdrowotna

Karta sportowa

Kursy językowe

Finture Sp. z o.o.

28 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz