Data Engineer (K/M/N)

Brak informacji o wynagrodzeniu

MidZdalnie·WarszawaInne

#463762·Dodano 4 dni temu·2

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Google Cloud Platform (GCP)BigQueryCloud StorageCloud DataflowCloud ComposeDatastreamDataplexPub/SubdataformPython

Podsumowanie oferty

Rozwój i utrzymanie platformy Customer Data Platform (CDP) opartej na architekturze Data Lakehouse w środowisku Google Cloud Platform (GCP). Praca obejmuje rozwój procesów przetwarzania danych oraz pipeline’ów danych.

Wymagania

Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
Bardzo dobre umiejętności komunikacyjne i organizacyjne.
Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
Doświadczenie z BigQuery i Cloud Storage.
Doświadczenie z Cloud Dataflow (Apache Beam).
Doświadczenie z Cloud Composer (Apache Airflow).
Znajomość Datastream i Dataplex.
Doświadczenie z Pub/Sub i Dataform.
Bardzo dobra znajomość Python.
Znajomość bibliotek do przetwarzania danych, m.in. Pandas.
Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
Znajomość MySQL, PostgreSQL i MS SQL Server.
Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
Znajomość procesów ETL/ELT.
Znajomość zagadnień Data Governance.
Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
Znajomość zagadnień wersjonowania danych.
Praktyczna znajomość Git.
Znajomość procesów CI/CD.
Doświadczenie z Cloud Monitoring oraz Cloud Logging.

Obowiązki

Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
Projektowanie i rozwój procesów przetwarzania danych.
Implementacja i optymalizacja procesów ETL/ELT.
Budowa oraz utrzymanie pipeline’ów danych w środowisku GCP.
Rozwój rozwiązań opartych o BigQuery.
Współpraca z zespołami projektowymi oraz technicznymi.
Monitorowanie i utrzymanie procesów przetwarzania danych.
Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.

Randlab

15 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz