AWS Data Engineer

140 - 170 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WarszawaFull-time·B2B

#473055·Dodano wczoraj·3

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python PySpark SQL RedshiftDBTAmazon AWSAIAirflowLooker

Podsumowanie oferty

Dołączysz do zespołu danych i będziesz rozwijać platformę danych, wspierając jej codzienne działanie oraz poprawiając niezawodność, skalowalność i koszty. Będziesz budować i optymalizować potoki danych z użyciem AWS, PySpark, SQL i dbt, a także wspierać przygotowanie danych i potoków dla uczenia maszynowego.

Wymagania

Co najmniej 4 lata doświadczenia w inżynierii danych, w tym odpowiedzialność za produkcyjną hurtownię danych.
Bardzo dobra znajomość SQL i Python, w tym PySpark.
Praktyczne doświadczenie z Redshift, w tym dostrajaniem wydajności, modelowaniem wymiarowym i SCD.
Dobra znajomość dbt, w tym modeli, testów, źródeł i przetwarzania przyrostowego.
Doświadczenie z Segment lub podobną platformą danych klientów.
Dobre doświadczenie z AWS, w tym S3, IAM, Glue, Lambda, Step Functions, EMR i Aurora/RDS.
Doświadczenie z infrastrukturą jako kodem (CloudFormation, SAM lub Terraform) oraz CI/CD.
Udokumentowane doświadczenie w budowaniu niezawodnych i skalowalnych potoków danych.
Praktyczne doświadczenie w przygotowywaniu danych do zastosowań w uczeniu maszynowym lub AI, np. w inżynierii cech, przygotowywaniu danych treningowych lub serwowaniu modeli; doświadczenie w prowadzeniu całego systemu ML nie jest wymagane.
Znajomość języka angielskiego na poziomie co najmniej B2.

Nice to have:

Doświadczenie z Braze, Amplitude, AppsFlyer lub podobnymi narzędziami.
Znajomość atrybucji marketingowej i danych dotyczących cyklu życia klienta.
Znajomość SageMaker lub platform MLOps.
Doświadczenie z aplikacjami LLM (Bedrock, OpenAI, Anthropic APIs) lub narzędziami programistycznymi wspieranymi przez AI.
Znajomość Looker/LookML.
Doświadczenie z Airflow, w tym migracją lub wycofywaniem starszych potoków.
Znajomość Redshift Spectrum, udostępniania danych i optymalizacji kosztów hurtowni.
Doświadczenie w pracy z danymi dotyczącymi subskrypcji, płatności, przychodów i rezygnacji klientów.
Doświadczenie w integrowaniu zewnętrznych API i eksportów danych od dostawców, w tym obsłudze limitów zapytań, zmian schematów i ponowień.

Obowiązki

Project scope:

Wspieranie codziennych operacji platformy, w tym obsługa awarii potoków, poprawianie danych i realizowanie nowych zgłoszeń dotyczących danych.
Budowanie, utrzymywanie i optymalizowanie potoków danych z użyciem AWS, PySpark, SQL i dbt.
Rozwijanie i utrzymywanie procesów pozyskiwania danych, w tym nowych źródeł z baz danych usługi Rails na Aurora Postgres oraz z SQS.
Zarządzanie śledzeniem w Segment, schematami zdarzeń i dalszymi integracjami danych.
Zapewnianie spójności między Redshift a platformami takimi jak Braze, Amplitude, AppsFlyer i Looker.
Optymalizowanie wydajności i kosztów Redshift.
Utrzymywanie istniejących modeli uczenia maszynowego, budowanie potoków cech i zbiorów treningowych dla nowych modeli oraz wdrażanie ich do produkcji w SageMaker.
Wspieranie projektów AI, w tym narzędzi opartych na LLM, przez zapewnianie dostępu do danych, przygotowywanie zbiorów ewaluacyjnych i kontrolowanie kosztów, a także wspieranie umiejętności Claude Code wykorzystywanych przez analityków do pracy z SQL i specyfikacjami śledzenia.
Zarządzanie platformą jako kodem z użyciem AWS SAM i CloudFormation oraz udział w automatyzacji CI/CD.
Uzgadnianie definicji metryk z zespołami analityki, finansów i produktu oraz utrzymywanie ich spójności w hurtowni danych i Looker.
Ulepszanie projektu dbt z zespołem analitycznym, w tym modeli przyrostowych, kontroli świeżości źródeł i szerszego zakresu testów.
Przeglądanie kodu i mentoring młodszego inżyniera.

Benefity

Prywatna opieka medyczna z opieką stomatologiczną, pokrywająca 70% kosztów.
Karta Multisport, również dla osoby towarzyszącej.
Ubezpieczenie na życie.

Opieka zdrowotna

Karta sportowa

Ubezpieczenie

Inne informacje

Wymagane jest obywatelstwo kraju Unii Europejskiej i miejsce zamieszkania w Polsce; praca zdalna jest dostępna wyłącznie z Polski.
Wymagany termin rozpoczęcia: jak najszybciej.

Cyclad

292 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz