Tech Lead Data Engineer - GCP - Customer Value Management & Analytics B2C Departament

Dołącz do nowego, strategicznego projektu transformacji danych w T-Mobile Polska, przenosząc analitykę z on-premise do Google Cloud Platform (GCP). Projekt obejmuje budowę architektury i modelu danych z naciskiem na zwiększanie wartości biznesowej i poprawę doświadczenia klientów. Pracujemy z technologiami takimi jak GCP, Spark, Python, Kubernetes, BigQuery, Vertex AI, Terraform, Looker. Część szerszego programu transformacji danych redefiniującego sposób pracy z danymi w T-Mobile.

• Minimum 5 lat doświadczenia na stanowisku Data Engineer oraz doświadczenie w roli wiodącej.
• Praktyczna znajomość ekosystemu GCP, w szczególności BigQuery (zaawansowany SQL, zarządzanie kosztami, optymalizacja wydajności), Cloud Storage (zarządzanie danymi, wersjonowanie), Pub/Sub, Dataflow/Apache Beam lub Dataproc/Spark.
• Znajomość Cloud Composer (Airflow) do orkiestracji i harmonogramowania pipeline’ów danych.
• Podstawy bezpieczeństwa w GCP: IAM, KMS, DLP.
• Umiejętność programowania w Python (np. pandas, PySpark, testy automatyczne).
• Doświadczenie w projektowaniu modeli danych (Kimball, Data Vault, Dimensional Modeling) i budowie warstw danych (raw/bronze, curated/silver, semantic/gold).
• Znajomość narzędzi do automatyzacji: CI/CD (np. GitLab CI, Cloud Build).
• Praktyka w zapewnieniu jakości danych (testowanie, monitorowanie, alertowanie).
• Znajomość narzędzi do monitorowania i rozwiązywania problemów wydajnościowych (Cloud Monitoring, Logging).
• Doświadczenie w dokumentacji technicznej oraz code review.
• Umiejętność pracy zespołowej i komunikacji z zespołami biznesowymi, technicznymi oraz analitycznymi.
• Proaktywność, odpowiedzialność i nastawienie na jakość w obszarze danych.

Nice to have:

• Doświadczenie z narzędziami zarządzania danymi, np. dbt, Dataform (transformacja i dokumentacja danych), Dataplex, Data Catalog (zarządzanie ładem danych).
• Praktyczna znajomość narzędzi do analityki takich jak Looker Studio.
• Doświadczenie z technologiami MLOps: Vertex AI, Feature Store.
• Zaawansowana znajomość Apache Kafka, Apache Pulsar dla streamingu danych.
• Znajomość zasad RODO, ISO 27001 i polityk bezpieczeństwa w obszarze danych.
• Znajomość narzędzi do zarządzania jakością danych, takich jak Great Expectations/Soda.
• Umiejętność tworzenia architektury dla poszczególnych produktów.
• Doświadczenie w migracjach danych z systemów on-prem.
• Znajomość Oracle (PL/SQL).

• Projektowanie, rozwój i utrzymanie potoków danych (ETL/ELT) w środowisku GCP.
• Integracja danych z różnych źródeł (API, bazy, pliki) do narzędzi takich jak BigQuery i Cloud Storage.
• Projektowanie i optymalizacja modeli danych w hurtowniach danych (Kimball, Data Vault, Dimensional Modeling).
• Implementacja rozwiązań streamingowych (np. Pub/Sub, Dataflow, Apache Beam).
• Automatyzacja procesów wokół danych przy użyciu Cloud Composer (Airflow).
• Planowanie prac/sprintów, priorytetyzacja backlogu, facylitacja warsztatów z biznesem, przekładanie wymagań na rozwiązania i SLA/SLO.
• Zapewnienie wydajności, jakości, bezpieczeństwa i skalowalności danych.
• Współpraca z zespołami ds. analityki danych, Data Science oraz zespołami biznesowymi.
• Tworzenie dokumentacji technicznej i udział w code review.
• Monitorowanie i rozwiązywanie problemów wydajnościowych oraz optymalizacja kosztów w chmurze.
• Optymalizacja wydajności i kosztów implementowanych rozwiązań.
• Mentoring, prowadzenie warsztatów, zarządzanie interesariuszami.