Cloud Data Architect (GCP)

Brak informacji o wynagrodzeniu

MidOn-site·ŁódźFull-time

#472160·Dodano 5 dni temu·1

Źródło: Experis

Aplikuj teraz

Tech Stack / Keywords

Google Cloud Platform BigQuery Python PySpark SQLdbt CoreApache AirflowCloud ComposerCloud StoragePub/Sub

Podsumowanie oferty

Projektowanie, rozwój i wdrażanie rozwiązań Data Engineering w środowisku Google Cloud Platform (GCP). Rola obejmuje architekturę skalowalnych procesów danych oraz wspieranie ich implementacji z wykorzystaniem m.in. BigQuery, dbt Core i PySpark.

Wymagania

Minimum 3 lata doświadczenia w obszarze Data Engineering, Cloud Data Architecture lub jako GCP Developer.
Bardzo dobra znajomość języków Python, PySpark i SQL.
Praktyczne doświadczenie w projektowaniu i implementacji rozwiązań opartych na BigQuery oraz dbt Core.
Doświadczenie w pracy z usługami Google Cloud Platform, w szczególności Cloud Composer / Apache Airflow, Cloud Storage i Pub/Sub.
Doświadczenie w projektowaniu i wdrażaniu procesów ETL/ELT oraz przetwarzaniu dużych zbiorów danych.
Znajomość zagadnień związanych z architekturą platform danych i integracją różnych źródeł danych.
Doświadczenie w pracy z GitHub, CI/CD oraz stosowaniu dobrych praktyk wytwarzania oprogramowania.
Praktyczna znajomość testowania rozwiązań danych, w tym testów jednostkowych, integracyjnych i jakościowych.
Umiejętność projektowania rozwiązań skalowalnych, wydajnych i łatwych w utrzymaniu.
Znajomość języka angielskiego pozwalająca na swobodną pracę z dokumentacją techniczną.

Obowiązki

Projektowanie i rozwój architektury rozwiązań danych w środowisku Google Cloud Platform (GCP).
Projektowanie i wdrażanie skalowalnych procesów ETL/ELT w architekturze batch oraz streaming.
Projektowanie i rozwój modeli danych oraz procesów transformacji z wykorzystaniem BigQuery, dbt Core i PySpark.
Projektowanie i utrzymywanie procesów orkiestracji danych z wykorzystaniem Apache Airflow / Cloud Composer.
Definiowanie standardów, dobrych praktyk oraz wzorców architektonicznych w obszarze Data Engineering.
Projektowanie mechanizmów walidacji, monitorowania i kontroli jakości danych (Data Quality).
Współpraca z architektami, modelarzami danych oraz zespołami developerskimi przy wdrażaniu modeli i rozwiązań danych.
Współtworzenie i rozwój frameworków oraz generatorów procesów zasileń danych.
Nadzór nad jakością, wydajnością, skalowalnością i niezawodnością wdrażanych rozwiązań.
Przygotowywanie i weryfikacja testów jednostkowych, integracyjnych oraz jakościowych.
Wsparcie procesu wdrażania rozwiązań na środowiska TEST, PREPROD i PROD.
Tworzenie i aktualizacja dokumentacji technicznej oraz architektonicznej.

Experis

344 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz