Data Engineer

Firma apreel powstała w kwietniu 2010 roku. W miarę rozwoju firmy i równolegle ze wzrostem poziomu zaufania klientów, jej działalność poszerzyła się o usługi Outsourcingu Specjalistów IT. Dziś to właśnie ten obszar stanowi główny filar działalności apreel.

• Google Cloud Platform
• Bardzo dobra znajomość BigQuery, Cloud Run, Cloud Functions, Cloud Storage, Cloud Composer / Apache Airflow
• Bardzo dobra znajomość Python
• Zaawansowana znajomość SQL: złożone zapytania, transformacje danych, walidacja i kontrola jakości danych
• Doświadczenie w budowie i utrzymaniu pipeline’ów danych
• Znajomość architektury rozwiązań data engineeringowych

Nice to have:

• Doświadczenie w enterprise data modelling
• Doświadczenie w projektach analitycznych lub data platform
• Znajomość dobrych praktyk CI/CD i DataOps
• 3 lata doświadczenia na podobnym stanowisku

• Projektowanie i rozwój pipeline’ów danych w środowisku GCP
• Budowa oraz optymalizacja procesów ETL/ELT
• Praca z hurtownią danych BigQuery oraz optymalizacja zapytań SQL
• Tworzenie rozwiązań serverless z wykorzystaniem Cloud Run oraz Cloud Functions
• Integracja danych z różnych źródeł oraz automatyzacja procesów
• Orkiestracja workflow przy użyciu Cloud Composer (Apache Airflow)
• Zarządzanie procesami ingestii danych oraz Cloud Storage
• Monitorowanie jakości danych i walidacja procesów przetwarzania
• Współpraca z zespołami analitycznymi, developerskimi i biznesowymi