Google Cloud Data Engineer

ITELENCE to szybko rozwijająca się firma wspierająca swoich międzynarodowych klientów w ich biznesowej i cyfrowej transformacji.

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer oraz praktyczne doświadczenie z Google Cloud Platform.
• Bardzo dobra znajomość Python oraz SQL.
• Praktyczne doświadczenie z BigQuery oraz innymi usługami GCP.
• Doświadczenie z Cloud Storage, Cloud Run, Cloud Workflows oraz Cloud Composer / Apache Airflow.
• Znajomość rozwiązań do przetwarzania danych w czasie rzeczywistym i architektur event-driven.
• Praktyczne doświadczenie z co najmniej częścią technologii: Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent, Eventarc.
• Doświadczenie w budowaniu i utrzymywaniu skalowalnych pipeline'ów danych, również dla dużych wolumenów danych i wysokiej liczby zdarzeń.
• Znajomość narzędzi do transformacji i orkiestracji danych, w szczególności dbt, Dataform oraz Apache Airflow.
• Umiejętność pracy z produkcyjnymi środowiskami danych oraz rozwiązywania problemów związanych z wydajnością i niezawodnością pipeline'ów.
• Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku.

Mile widziane:

• Doświadczenie z systemami przetwarzającymi 1 000+ zdarzeń na sekundę.
• Doświadczenie w projektowaniu architektur real-time / near-real-time data processing.
• Znajomość Terraform lub innych narzędzi Infrastructure as Code.
• Doświadczenie z konteneryzacją, Docker oraz CI/CD.
• Znajomość zagadnień związanych z data governance, data quality oraz data security.

• Projektowanie, rozwój i utrzymywanie skalowalnych pipeline'ów danych w środowisku Google Cloud Platform.
• Budowanie i rozwój procesów ETL/ELT z wykorzystaniem Python oraz SQL.
• Praca z BigQuery, w tym rozwiązaniami związanymi z przetwarzaniem danych w czasie rzeczywistym.
• Projektowanie i implementacja rozwiązań do przetwarzania danych w modelu streaming oraz event-driven.
• Budowanie pipeline'ów z wykorzystaniem Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent oraz Eventarc.
• Praca z usługami GCP, takimi jak Cloud Storage, Cloud Run, Cloud Workflows oraz Cloud Composer.
• Projektowanie i utrzymywanie procesów orkiestracji z wykorzystaniem Apache Airflow / Cloud Composer.
• Rozwijanie procesów transformacji danych przy użyciu dbt oraz Dataform.
• Monitorowanie wydajności, jakości i niezawodności pipeline'ów danych oraz identyfikowanie obszarów do optymalizacji.
• Współpraca z zespołami Data Engineering, Analytics oraz innymi zespołami technicznymi przy projektowaniu i wdrażaniu rozwiązań danych.
• Dbanie o skalowalność, bezpieczeństwo i niezawodność rozwiązań działających w środowisku produkcyjnym.