Data Engineer (K/M)
Tech Stack / Keywords
Firma i stanowisko
Dla naszego klienta z branży paliwowo-energetycznej poszukujemy Data Engineera, który/która dołączy do zespołu odpowiedzialnego za rozwój i utrzymanie platformy CDP opartej na architekturze Data Lakehouse w Google Cloud Platform.
Wymagania
- Doświadczenie w co najmniej kilku projektach wdrożeniowych rozwiązań chmurowych w roli Data Engineer
- Bardzo dobra znajomość kluczowych usług GCP Data & Analytics: BigQuery (partycjonowanie, klastrowanie, tabele zewnętrzne, optymalizacja zapytań), Cloud Storage, Cloud Dataflow (Apache Beam), Cloud Composer (Apache Airflow)
- Znajomość usług wspierających integrację i zarządzanie danymi: Datastream (CDC/replikacja), Dataplex (metadane, Data Quality, Data Lineage), Pub/Sub (streaming), Dataform (transformacje SQL w BigQuery)
- Znajomość SQL (dialekt BigQuery) oraz Pythona (w tym Pandas) do transformacji i analizy danych
- Zrozumienie architektury medalionowej (Bronze/Silver/Gold), procesów ETL/ELT oraz zasad Data Governance, w tym deduplikacji i wersjonowania danych
- Znajomość Git oraz procesów CI/CD (np. Cloud Build), a także konfiguracji Cloud Monitoring/Logging
- Bardzo dobre umiejętności komunikacyjne, organizacyjne oraz znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym
Obowiązki
- Wsparcie zespołu projektowego i utrzymaniowego w budowie oraz rozwoju platformy CDP w architekturze Data Lakehouse (GCP)
- Projektowanie, implementacja i optymalizacja potoków ETL/ELT (batch i streaming)
- Tworzenie i zarządzanie transformacjami danych w warstwach Bronze, Silver, Gold (architektura medalionowa)
- Orkiestracja przepływów danych oraz monitorowanie zadań
- Praca z mechanizmami CDC i replikacją danych ze źródeł transakcyjnych do BigQuery
- Dbanie o jakość danych, katalogowanie metadanych oraz zgodność z zasadami Data Governance (w tym RODO)
- Bliska współpraca z zespołami IT i Project Managerami technicznymi w środowisku międzynarodowym
Benefity
- Współpraca z renomowaną organizacją (ITwiz BEST100), działającą w oparciu o międzynarodowe standardy jakości i bezpieczeństwa (ISO 9001, ISO 27001)
- Niekorporacyjna atmosfera i płaska struktura organizacyjna
- Możliwość ciągłego rozwoju przez pracę z różnorodnymi technologiami i współpracę z doświadczonym zespołem ekspertów
- Dofinansowanie do szkoleń i certyfikatów
- Program Poleceń Pracowniczych
- Udział w inicjatywach dobroczynnych, m.in. z Fundacją im. Joanny Radziwiłł "Opiekuńcze Skrzydła" oraz świątecznej akcji „Gwiazdorzymy”
- Różnorodne i inkluzywne środowisko pracy z przedstawicielami czterech pokoleń
- Równe szanse rozwoju – 50% stanowisk menedżerskich i liderskich zajmują kobiety
- Opieka medyczna LUX-MED, dofinansowanie 50% do karty Multisport, dofinansowanie do nauki języków oraz dostęp do platformy wellbeingowej
Inne informacje
Wyrażam zgodę na przetwarzanie moich danych osobowych zawartych w CV oraz w formularzu rekrutacyjnym na potrzeby procesu rekrutacyjnego. Administratorami Pani/Pana danych osobowych są wspólnie następujące Spółki: Exorigo-Upos S.A., FINTURE Sp. z o.o., AI Sp. z o.o., dalej łącznie zwanymi Współadministratorami. Pani/Pana dane osobowe będą przetwarzane w celu rekrutacji, na podstawie zgody, zgodnie z art. 6 ust. 1 lit. a) RODO. Podanie danych obligatoryjne jest warunkiem udziału w procesie rekrutacji. Dane będą przechowywane do 12 miesięcy od aplikacji, chyba że wyrazi Pani/Pan zgodę na przyszłe rekrutacje (do 3 lat).
Finture Sp. z o.o.
60 aktywnych ofert