Data Engineer with GCP

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

• minimum 10 lat doświadczenia w branży IT, w tym silne doświadczenie w obszarze Data Engineering
• praktyczne doświadczenie z usługami Google Cloud Platform (GCP)
• umiejętność kodowania w Pythonie
• bardzo dobra znajomość SQL, PostgreSQL oraz PL/SQL
• doświadczenie z Apache Beam
• dobra znajomość Google Cloud SDK, API oraz skryptów
• znajomość podstaw DevOps, w tym Git, CI/CD, procesy release'owe

Nice to have:

• znajomość Dataproc
• doświadczenie w pracy z dużymi, rozproszonymi zbiorami danych
• doświadczenie w rozwiązaniach streamingowych i architekturach event-driven
• doświadczenie w bezpośredniej współpracy z klientem i interesariuszami biznesowymi

• projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych z wykorzystaniem usług GCP
• budowanie procesów ETL/ELT przy użyciu Dataflow, Apache Beam i Python
• projektowanie oraz optymalizacja modeli danych i zapytań w PostgreSQL i PL/SQL
• tworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow / Cloud Composer
• integracja danych z wielu źródeł oraz przygotowywanie ich do analityki i raportowania w BigQuery i Cloud SQL
• zapewnianie jakości danych, walidacji, monitoringu oraz niezawodności pipeline'ów
• optymalizacja wydajności procesów przetwarzania danych i zapytań SQL
• współpraca z zespołami biznesowymi, analitycznymi i aplikacyjnymi przy przekładaniu wymagań na rozwiązania techniczne
• stosowanie praktyk Agile i DevOps w zakresie CI/CD, testowania, wdrażania i utrzymania rozwiązań
• praca z Git i Jenkins w obszarze procesów DevOps