Data Engineer z GCP (f/m/x)

Dołącz do zespołu Data & Analytics w firmie Sii, gdzie budujemy i rozwijamy rozwiązania oparte na Google Cloud Platform (GCP).

• Minimum 4 lata doświadczenia w roli Data Engineer lub podobnej przy pracy z danymi w środowisku produkcyjnym
• Bardzo dobra znajomość Google Cloud Platform, w szczególności BigQuery (modelowanie danych, optymalizacja zapytań) oraz Cloud Storage
• Umiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming)
• Bardzo dobra znajomość SQL oraz Python w kontekście przetwarzania i orkiestracji danych
• Doświadczenie w orkiestracji workflow (Apache Airflow / Cloud Composer)
• Praktyka w implementacji CI/CD dla rozwiązań data (np. GitHub Actions, GitLab CI, Cloud Build)
• Znajomość podejścia Infrastructure as Code, ze wskazaniem na Terraform
• Doświadczenie z dużymi wolumenami danych, uwzględniając wydajność i niezawodność rozwiązań
• Swobodna komunikacja w języku angielskim (C1)
• Wymagana znajomość języka polskiego na poziomie C2 oraz przebywanie na terenie Polski

Nice to have:

• Praktyczne doświadczenie w przetwarzaniu danych streamingowych (np. Dataflow / Apache Beam, Pub/Sub)
• Biegłość w Apache Spark / PySpark
• Kompetencje w transformacji i modelowaniu danych z wykorzystaniem narzędzi takich jak dbt
• Umiejętność pracy z platformami danymi jak Databricks, Snowflake, MS Fabric
• Znajomość narzędzi i praktyk z obszaru Data Governance, Data Lineage i Data Quality

• Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych na Google Cloud Platform
• Praca z BigQuery: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność oraz niezawodność
• Integracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacja
• Orkiestracja workflow danych przy użyciu Apache Airflow / Cloud Composer
• Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastruktury
• Zarządzanie infrastrukturą w chmurze zgodnie z podejściem Infrastructure as Code (Terraform)
• Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydenty
• Współpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych i dobrze udokumentowanych danych
• Udział w rozwoju architektury danych oraz definiowanie dobrych praktyk data engineeringowych

Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego.