Data Engineer (GCP)

Firma apreel powstała w kwietniu 2010 roku z inicjatywy czterech przyjaciół, których marzeniem było stworzenie własnego Software House'u. W miarę rozwoju firmy i wzrostu zaufania klientów, działalność poszerzyła się o usługi Outsourcingu Specjalistów IT. Aktualnie współpracują z ponad 300 stałymi kontraktorami oraz obsługują klientów z korporacji bankowych, ubezpieczeniowych i medialnych.

• Doświadczenie w pracy z Google Cloud Platform
• Bardzo dobra znajomość BigQuery, Cloud Run, Cloud Functions, Cloud Storage, Cloud Composer / Apache Airflow
• Bardzo dobra znajomość Python
• Zaawansowana znajomość SQL: złożone zapytania, transformacje danych, walidacja i kontrola jakości danych
• Doświadczenie w budowie i utrzymaniu pipeline’ów danych
• Znajomość architektury rozwiązań data engineeringowych

Nice to have:

• Doświadczenie w enterprise data modelling
• Doświadczenie w projektach analitycznych lub data platform
• Znajomość dobrych praktyk CI/CD i DataOps
• Minimum 6 lat doświadczenia na podobnym stanowisku

• Projektowanie i rozwój pipeline’ów danych w środowisku GCP
• Budowa oraz optymalizacja procesów ETL/ELT
• Praca z hurtownią danych BigQuery oraz optymalizacja zapytań SQL
• Tworzenie rozwiązań serverless z wykorzystaniem Cloud Run oraz Cloud Functions
• Integracja danych z różnych źródeł oraz automatyzacja procesów
• Orkiestracja workflow przy użyciu Cloud Composer (Apache Airflow)
• Zarządzanie procesami ingestii danych oraz Cloud Storage
• Monitorowanie jakości danych i walidacja procesów przetwarzania
• Współpraca z zespołami analitycznymi, developerskimi i biznesowymi