Jit Team

Data Engineer

1150 - 1300 PLN/ dzień./ dzień.B2BB2B (netto)

SeniorZdalnie·GdańskFull-time·B2B

#464775·Dodano 13 dni temu·1

Źródło: Jit Team

Aplikuj teraz

Tech Stack / Keywords

Java SQLGoogle Cloud Platform (GCP)BigQueryApache BeamPub/SubDataflowApache Airflow Terraformdbt

Podsumowanie oferty

Osoba wesprze zespół Direct Marketing i wykorzystywane przez niego platformy w obszarze przetwarzania danych, raportowania i analizy. Rola obejmuje optymalizację pipeline’ów i kosztów chmurowych oraz wdrażanie dobrych praktyk z zakresu data engineering.

Wymagania

Bardzo dobra znajomość Javy w kontekście przetwarzania danych, w tym budowania pipeline’ów batchowych i streamingowych, Apache Beam oraz bibliotek klienckich GCP (BigQuery, Pub/Sub, Cloud Storage).
Bardzo dobra znajomość SQL, w szczególności dialektów MySQL oraz BigQuery (GoogleSQL).
Znajomość formatów danych: Avro, Parquet, Protobuf i JSON, w tym projektowania schematów i zarządzania ich ewolucją.
Umiejętność modelowania danych w BigQuery, partycjonowania i klastrowania oraz optymalizacji wydajności zapytań i kosztów (slots, reservations, INFORMATION_SCHEMA).
Znajomość narzędzi do data ingestion: Pub/Sub, Datastream (CDC), BigQuery Data Transfer Service i Cloud Storage.
Znajomość narzędzi do przetwarzania danych: Dataflow, Dataform lub dbt, Dataproc / Serverless Spark.
Znajomość Apache Airflow: projektowanie DAG-ów, operatory i sensory, harmonogramowanie, zarządzanie zależnościami i ponowieniami, monitoring oraz troubleshooting, w tym praca z Cloud Composer.
Znajomość innych narzędzi do orkiestracji: Workflows i Cloud Scheduler.
Znajomość narzędzi do raportowania i analityki: Looker i Looker Studio.
Znajomość analityki marketingowej i ML, m.in. segmentacji, propensity i churn, oraz BigQuery ML; podstawowa znajomość Vertex AI.
Znajomość udostępniania danych i integracji z usługami wewnętrznymi: Bigtable, Memorystore, Spanner, Cloud Run, Apigee / API Gateway, BigQuery Storage APIs, remote functions i Private Service Connect.
Znajomość data governance i prywatności danych: Dataplex, Sensitive Data Protection, policy tags, zabezpieczenia na poziomie wierszy i kolumn, obsługa danych PII oraz zgód.
Znajomość zarządzania środowiskiem GCP: IAM i service accounts, hierarchia zasobów, podstawy sieci VPC, VPC Service Controls, Cloud KMS, Secret Manager, Cloud Monitoring i Cloud Logging.
Znajomość zarządzania kosztami chmurowymi: billing exports, budżety i alerty, monitoring oraz optymalizacja kosztów.
Znajomość Infrastructure as Code i CI/CD: Terraform, Git, Cloud Build lub GitHub Actions.
Stosowanie dobrych praktyk inżynierskich: testowanie jakości danych, dokumentacja, code review i tworzenie reużywalnych wzorców pipeline’ów.
Umiejętność współpracy z interesariuszami biznesowymi z obszaru marketingu i przekładania potrzeb biznesowych na rozwiązania oparte na danych.
Minimum 5 lat doświadczenia.

Mile widziane:

Python w obszarze data engineering, w tym pandas, Polars, PyArrow, PySpark, Apache Beam Python SDK, google-cloud-bigquery i inne biblioteki klienckie GCP.
Doświadczenie w pracy z danymi marketingowymi, np. CRM, kampaniami i GA4.
Znajomość Managed Kafka oraz BigQuery continuous queries.
Certyfikat Google Cloud Professional Data Engineer.

Obowiązki

Wspieranie zespołu Direct Marketing i wykorzystywanych przez niego platform w obszarze przetwarzania danych, raportowania i analizy.
Optymalizacja wydajności pipeline’ów i kosztów chmurowych.
Wdrażanie dobrych praktyk z zakresu data engineering.

Inne informacje

Możliwe rozpoczęcie współpracy w grudniu lub najpóźniej w styczniu 2027; akceptowana jest również późniejsza dostępność.

Jit Team

313 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz