Data Engineer (K/M)

Dla naszego klienta z branży paliwowo-energetycznej poszukujemy Data Engineera, który/która dołączy do zespołu odpowiedzialnego za rozwój i utrzymanie platformy CDP opartej na architekturze Data Lakehouse w Google Cloud Platform.

• Doświadczenie w co najmniej kilku projektach wdrożeniowych rozwiązań chmurowych w roli Data Engineer
• Bardzo dobra znajomość kluczowych usług GCP Data & Analytics: BigQuery (partycjonowanie, klastrowanie, tabele zewnętrzne, optymalizacja zapytań), Cloud Storage, Cloud Dataflow (Apache Beam), Cloud Composer (Apache Airflow)
• Znajomość usług wspierających integrację i zarządzanie danymi: Datastream (CDC/replikacja), Dataplex (metadane, Data Quality, Data Lineage), Pub/Sub (streaming), Dataform (transformacje SQL w BigQuery)
• Znajomość SQL (dialekt BigQuery) oraz Python (w tym Pandas) do transformacji i analizy danych
• Zrozumienie architektury medalionowej (Bronze/Silver/Gold), procesów ETL/ELT oraz zasad Data Governance, w tym deduplikacji i wersjonowania danych
• Znajomość Git oraz procesów CI/CD (np. Cloud Build), a także konfiguracji Cloud Monitoring/Cloud Logging
• Bardzo dobre umiejętności komunikacyjne, organizacyjne oraz znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym

• Wsparcie zespołu projektowego i utrzymaniowego w budowie oraz rozwoju platformy CDP w architekturze Data Lakehouse (GCP)
• Projektowanie, implementacja i optymalizacja potoków ETL/ELT (batch i streaming)
• Tworzenie i zarządzanie transformacjami danych w warstwach Bronze, Silver, Gold (architektura medalionowa)
• Orkiestracja przepływów danych oraz monitorowanie zadań
• Praca z mechanizmami CDC i replikacją danych ze źródeł transakcyjnych do BigQuery
• Dbanie o jakość danych, katalogowanie metadanych oraz zgodność z zasadami Data Governance (w tym RODO)
• Bliska współpraca z zespołami IT i Project Managerami technicznymi w środowisku międzynarodowym

Praca w większości w trybie zdalnym – 1-2 dni w miesiącu w biurze w Warszawie.