GCP Data Engineer - Customer Value and Digital Engagement Department

Brak informacji o wynagrodzeniu

SeniorHybryda·WarszawaFull-time

#477041·Dodano wczoraj·0

Źródło: nofluffjobs.com

Aplikuj teraz

Tech Stack / Keywords

GCP BigQuery SQLCloudStoragePUBApache BeamSpark Cloud Composer AirflowIAMKMSDLPPython pandas PySparkVaultTerraformInfrastructure as CodeCI/CD GitLab CI

Podsumowanie oferty

Data Engineer będzie projektować, implementować i utrzymywać rozwiązania danych na Google Cloud Platform (GCP), wspierające analitykę, procesy biznesowe, raportowanie oraz rozwój modeli ML i aplikacji AI. Praca obejmuje rozwiązania takie jak BigQuery, Cloud Storage, Pub/Sub, Dataflow i Cloud Composer (Airflow).

Wymagania

Minimum 2–3 lata doświadczenia w roli Data Engineer; dla Seniora: 5+ lat oraz doświadczenie w pełnieniu roli wiodącej.
Praktyczna znajomość ekosystemu GCP, w szczególności:
- BigQuery: zaawansowany SQL, zarządzanie kosztami i optymalizacja wydajności.
- Cloud Storage: zarządzanie danymi i wersjonowanie.
- Pub/Sub oraz Dataflow/Apache Beam lub Dataproc/Spark.
- Cloud Composer (Airflow): orkiestracja i harmonogramowanie pipeline’ów danych.
Podstawy bezpieczeństwa w GCP: IAM, KMS, DLP.
Opanowanie SQL: optymalizacja zapytań, tworzenie agregacji i zarządzanie indeksami.
Umiejętność programowania w Pythonie, np. z użyciem pandas, PySpark i testów automatycznych.
Doświadczenie w projektowaniu modeli danych (Kimball, Data Vault, Dimensional Modeling) i budowie warstw danych (raw/bronze, curated/silver, semantic/gold).
Znajomość narzędzi do automatyzacji: Terraform (Infrastructure as Code) oraz CI/CD, np. GitLab CI lub Cloud Build.
Praktyka w zapewnieniu jakości danych (testowanie, monitorowanie, alertowanie).
Znajomość narzędzi do monitorowania i rozwiązywania problemów wydajnościowych: Cloud Monitoring i Logging.
Doświadczenie w dokumentacji technicznej oraz code review.

Obowiązki

Projektowanie, rozwój i utrzymanie potoków danych (ETL/ELT) w środowisku GCP.
Integracja danych z różnych źródeł (API, bazy, pliki) z narzędziami takimi jak BigQuery i Cloud Storage.
Projektowanie i optymalizacja modeli danych w hurtowniach danych (Kimball, Data Vault, Dimensional Modeling).
Implementacja rozwiązań streamingowych, np. Pub/Sub, Dataflow i Apache Beam.
Automatyzacja procesów wokół danych przy użyciu Cloud Composer (Airflow).
Zapewnienie wydajności, jakości, bezpieczeństwa i skalowalności danych.
Współpraca z zespołami ds. analityki danych, Data Science oraz zespołami biznesowymi.
Tworzenie dokumentacji technicznej i udział w code review.
Monitorowanie i rozwiązywanie problemów wydajnościowych oraz optymalizacja wydajności i kosztów rozwiązań w chmurze.

Dla Seniora:

Prowadzenie mikrozespołu (2–4 osoby).
Planowanie prac i sprintów oraz priorytetyzacja backlogu.
Facylitacja warsztatów z biznesem.

T-Mobile

84 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz