Data Engineer (K/M/N)
Tech Stack / Keywords
Firma i stanowisko
Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).
Wymagania
- Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
- Bardzo dobre umiejętności komunikacyjne i organizacyjne.
- Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
- Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
- Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
- Doświadczenie z BigQuery.
- Doświadczenie z Cloud Storage.
- Doświadczenie z Cloud Dataflow (Apache Beam).
- Doświadczenie z Cloud Composer (Apache Airflow).
- Znajomość Datastream.
- Znajomość Dataplex.
- Doświadczenie z Pub/Sub.
- Doświadczenie z Dataform.
- Bardzo dobra znajomość Python.
- Znajomość bibliotek do przetwarzania danych (m.in. Pandas).
- Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
- Znajomość MySQL.
- Znajomość PostgreSQL.
- Znajomość MS SQL Server.
- Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
- Znajomość procesów ETL/ELT.
- Znajomość zagadnień Data Governance.
- Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
- Znajomość zagadnień wersjonowania danych.
- Praktyczna znajomość Git.
- Znajomość procesów CI/CD.
- Doświadczenie z Cloud Monitoring oraz Cloud Logging.
Obowiązki
- Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
- Projektowanie i rozwój procesów przetwarzania danych.
- Implementacja i optymalizacja procesów ETL/ELT.
- Budowa oraz utrzymanie pipeline'ów danych w środowisku Google Cloud Platform.
- Rozwój rozwiązań opartych o BigQuery.
- Współpraca z zespołami projektowymi oraz technicznymi.
- Monitorowanie i utrzymanie procesów przetwarzania danych.
- Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.
Inne informacje
Informujemy, że administratorem danych jest Randlab Software Sp z o.o. z siedzibą w Nowym Sączu, ul. Siemiradzkiego 11 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
Randlab
12 aktywnych ofert