Data Engineer (K/M/N)

110 - 120 PLN/ godz./ godz.B2BB2B (netto)

SeniorHybryda·PłockInne·B2B

#464653·Dodano 3 dni temu·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Google Cloud Platform (GCP)BigQueryCloud Composer / Apache AirflowDataprocDataflowDatastreamCloud Run / Cloud Run FunctionsGoogle Cloud StoragePython SQL

Podsumowanie oferty

Projekt dotyczy rozwoju i utrzymania procesów przetwarzania oraz integracji danych w środowisku Google Cloud Platform (GCP). Osoba na tym stanowisku będzie projektować architekturę przepływów danych oraz implementować procesy ETL/ELT z użyciem usług GCP, SQL i Python.

Wymagania

Minimum 3 lata doświadczenia w roli Data Engineera lub konsultanta GCP.
Praktyczna znajomość Google Cloud Platform, w szczególności usług wykorzystywanych do przetwarzania i integracji danych.
Znajomość BigQuery, w tym modelowania danych, SQL, optymalizacji zapytań, partycjonowania i klastrowania.
Praktyczna znajomość Cloud Composer / Apache Airflow.
Znajomość Dataproc, Dataflow i Datastream.
Znajomość Cloud Run / Cloud Run Functions.
Znajomość Cloud Storage w zakresie przetwarzania danych.
Bardzo dobra znajomość Python i SQL.
Znajomość GitLab, w tym CI/CD i wersjonowania.
Znajomość Terraform w zakresie definiowania zasobów związanych z przetwarzaniem danych.
Znajomość wzorców integracji danych: batch, streaming i CDC.
Doświadczenie w analizie wymagań biznesowych i przekładaniu ich na rozwiązania techniczne.
Znajomość mechanizmów kontroli dostępu do danych w GCP, w tym IAM, authorized views, row-level security, column-level security i policy tags.
Znajomość Workforce Identity Federation, w tym zasad nadawania uprawnień grupom federowanym z Microsoft Entra ID.
Znajomość Dataplex Universal Catalog w zakresie klasyfikacji, tagowania i katalogowania danych.
Rozumienie zasad klasyfikacji danych oraz wymagań zgodności, w tym RODO, w kontekście zarządzania dostępem.
Znajomość zagadnień integracji GCP z platformą Informatica IDMC.
Znajomość architektury multi-cloud governance, obejmującej SAP Datasphere i Azure Databricks.
Wysokie umiejętności komunikacyjne, organizacyjne i analityczne.

Mile widziane:

Certyfikat Google Cloud, np. Professional Data Engineer.

Obowiązki

Zakres współpracy:

Analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP.
Dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA.
Projektowanie, implementacja i utrzymanie procesów ETL/ELT z wykorzystaniem Dataproc, Dataflow, BigQuery i Dataform.
Implementacja logiki transformacji danych z użyciem SQL, Python i dbt.
Integracja danych z systemów on-premise, platform chmurowych, API, plików i strumieni danych oraz implementacja mechanizmów CDC (Change Data Capture).
Projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow oraz zarządzanie ich harmonogramowaniem, zależnościami, obsługą błędów i wznowieniami.
Projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab oraz automatyzacja testowania, wdrażania i wersjonowania procesów danych.
Definiowanie zasobów IaC związanych z przetwarzaniem danych, m.in. GCS, BigQuery, Cloud Composer i Dataproc.
Monitorowanie procesów przetwarzania danych i reagowanie na incydenty w warstwie logiki danych.
Optymalizacja wydajności i kosztów przetwarzania, w tym zapytań, partycjonowania i klastrowania w BigQuery.
Refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych.
Implementacja mechanizmów walidacji i kontroli jakości danych.
Projektowanie i wdrażanie modelu uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy.
Konfiguracja uprawnień IAM, row-level security, column-level security i policy tags.
Zarządzanie dostępem do zasobów danych z wykorzystaniem Workforce Identity Federation i Microsoft Entra ID.
Współpraca przy klasyfikacji i katalogowaniu danych z wykorzystaniem Dataplex Universal Catalog.
Współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance.
Przygotowywanie i aktualizacja dokumentacji technicznej.
Przeprowadzanie code review oraz wsparcie merytoryczne zespołów data.

Randlab

15 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz