Senior Cloud Data Engineer (GCP)

• Minimum 7 lat doświadczenia w inżynierii oprogramowania, DevOps i/lub Cloud.
• Bardzo dobra znajomość i praktyczne doświadczenie z GCP, w tym BigQuery oraz powiązanymi usługami danych.
• Udokumentowane doświadczenie w budowie pipeline’ów ETL/ELT oraz ich orkiestracji przy użyciu Apache Airflow (projektowanie DAG-ów, harmonogramowanie, monitoring, skalowanie).
• Bardzo dobra znajomość SQL w zakresie transformacji danych, walidacji i optymalizacji wydajności.
• Doświadczenie w projektowaniu architektury oraz budowie skalowalnych i odpornych platform.
• Doświadczenie z CI/CD i automatyzacją wdrożeń, najlepiej dla platform danych i środowisk Airflow.
• Doświadczenie w automatyzacji testów, w tym tworzeniu frameworków/procesów testów regresyjnych i wydajnościowych.
• Solidne rozumienie zagadnień zarządzania danymi (jakość danych, metadane, governance) oraz implementacji data lineage.
• Znajomość narzędzi do wizualizacji danych (np. do analiz operacyjnych, wizualizacji lineage lub raportowania dla interesariuszy).
• Silne umiejętności rozwiązywania problemów oraz doświadczenie w zwiększaniu niezawodności i redukcji pracy manualnej poprzez automatyzację.
• Bardzo dobre umiejętności komunikacyjne (pisemne i ustne) oraz zdolność efektywnej pracy w międzyfunkcyjnych zespołach Agile.
• Znajomość języka angielskiego na poziomie B2/C1.
• Znajomość języka polskiego na poziomie B2.

• Dołącz do zespołu budującego i rozwijającego platformę integracji danych opartą na Google Cloud Platform (GCP).
• Rola łączy inżynierię DevOps, data engineering oraz automatyzację – z silnym naciskiem na budowę i orkiestrację potoków ETL w Apache Airflow, automatyzację wdrożeń, niezawodność platformy oraz śledzenie przepływu danych (data lineage).
• Platforma wykorzystuje Apache Airflow do orkiestracji potoków ETL i umożliwia niezawodny przepływ danych – od systemów źródłowych, przez platformę, aż do systemów docelowych partnerów.
• Kluczowym obszarem jest rozwój procesów ETL, usprawnianie automatyzacji i pipeline’ów wdrożeniowych oraz wdrażanie data lineage, aby zapewnić przejrzyste, wizualne śledzenie przepływu danych od początku do końca.
• Lokalizacja: Kraków, praca hybrydowa - 2 dni z biura

Zakres obowiązków:

• Projektowanie, rozwój, testowanie i utrzymanie potoków ETL.
• Budowanie i rozwijanie funkcjonalności platformy.
• Tworzenie skalowalnych pipeline’ów wdrożeniowych dla Apache Airflow.
• Rozwój i optymalizacja transformacji oraz integracji opartych na SQL, w tym praca z GCP BigQuery.
• Wdrażanie mechanizmów data lineage, umożliwiających wizualne śledzenie danych od źródła przez platformę aż do systemów dostawców.
• Automatyzacja istniejących procesów operacyjnych i inżynieryjnych w celu poprawy niezawodności, szybkości i powtarzalności.
• Tworzenie i utrzymanie automatyzacji testów dla platformy, w tym testów regresyjnych i wydajnościowych.
• Rozwiązywanie złożonych problemów w obszarze pipeline’ów, infrastruktury i przepływów danych; analiza przyczyn źródłowych i wdrażanie działań zapobiegawczych.
• Jasna komunikacja z inżynierami, interesariuszami produktowymi oraz zespołami partnerskimi w celu uzgodnienia wymagań i realizacji.
• Współpraca w modelu Agile.