AWS Data Enginer

140 - 160 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnieFull-time·B2B

#472354·Dodano 2 dni temu·0

Źródło: Devire

Aplikuj teraz

Tech Stack / Keywords

AWS PySparkdbtRedshift SQL PythonSegmentSageMakerCloudFormationCI/CD

Podsumowanie oferty

Rozwój i utrzymanie platformy danych opartej na AWS w niewielkim zespole danych. Odpowiedzialność obejmuje przepływ danych do Redshift, transformacje oraz przygotowywanie danych do zastosowań ML/AI.

Wymagania

Minimum 4 lata doświadczenia w Data Engineering, w tym odpowiedzialność za produkcyjną hurtownię danych.
Bardzo dobra znajomość SQL i Python, w tym PySpark.
Doświadczenie z Amazon Redshift lub podobną hurtownią MPP, obejmujące optymalizację wydajności, zarządzanie obciążeniem i modelowanie wymiarowe, w tym SCD.
Praktyczna znajomość dbt: modele przyrostowe, testy i konfiguracja źródeł danych.
Doświadczenie z Segment lub podobną platformą Customer Data Platform oraz projektowaniem schematów zdarzeń.
Znajomość usług AWS: S3, IAM, Glue, Lambda, Step Functions, EMR oraz RDS/Aurora.
Doświadczenie z Infrastructure as Code (CloudFormation/SAM lub Terraform) oraz procesami CI/CD.
Umiejętność budowania pipeline’ów umożliwiających bezpieczne ponowne przetwarzanie i uzupełnianie danych historycznych.
Praktyczne doświadczenie w przygotowywaniu danych do zastosowań ML/AI, np. tworzeniu cech, zbiorów treningowych lub udostępnianiu modeli do predykcji.
Znajomość języka angielskiego na poziomie minimum B2.

Mile widziane:

Znajomość Braze, Amplitude, AppsFlyer oraz danych dotyczących atrybucji marketingowej i cyklu życia klienta.
Doświadczenie z SageMaker lub innymi narzędziami MLOps.
Doświadczenie z aplikacjami opartymi na LLM, w tym Bedrock, API Anthropic lub OpenAI, ewaluacją oraz zarządzaniem promptami i kosztami.
Znajomość Claude Code lub innych narzędzi AI wspierających programowanie.
Znajomość Looker/LookML i Airflow.
Doświadczenie z Redshift Spectrum, udostępnianiem danych oraz optymalizacją kosztów Redshift.
Doświadczenie z danymi płatniczymi i subskrypcyjnymi, szczególnie ze Stripe, PayPal, App Store lub Google Play.
Doświadczenie w integracjach z zewnętrznymi API i eksportami danych, obejmujące obsługę limitów zapytań, zmian schematów oraz ponawiania prób.

Obowiązki

Rozwój i utrzymanie platformy danych opartej na AWS, PySpark, dbt i Redshift.
Monitorowanie pipeline’ów, rozwiązywanie awarii, poprawianie danych i podłączanie nowych źródeł, m.in. Aurora PostgreSQL i SQS.
Rozwijanie transformacji danych, testów jakości i monitorowania aktualności danych.
Zarządzanie konfiguracją Segment, schematami zdarzeń oraz przepływem danych między aplikacjami, hurtownią i narzędziami analityczno-marketingowymi.
Wyjaśnianie rozbieżności między danymi w Redshift, Braze, Amplitude, AppsFlyer i Looker.
Udostępnianie danych z hurtowni systemom zewnętrznym i partnerom, w tym grup odbiorców, atrybutów użytkowników i zdarzeń.
Utrzymywanie istniejących modeli ML, przygotowywanie cech i zbiorów treningowych oraz wdrażanie modeli na SageMaker.
Wspieranie projektów AI przez zapewnianie dostępu do danych, przygotowywanie zbiorów do ewaluacji i kontrolowanie kosztów.
Wspieranie rozwoju umiejętności korzystania z Claude Code przez analityków do pracy z SQL i specyfikacjami śledzenia zdarzeń.
Optymalizacja wydajności i kosztów dwóch klastrów Redshift.
Zarządzanie infrastrukturą przy użyciu AWS SAM, CloudFormation i CI/CD oraz migracja funkcji starszych rozwiązań do obecnego środowiska.
Uzgadnianie definicji metryk z zespołami analityki, finansów i produktu oraz zapewnianie ich spójności w hurtowni i raportach.
Rozwijanie projektu dbt, przegląd kodu i mentoring młodszego inżyniera.

Benefity

Planowany czas trwania projektu: do końca maja 2027 r., z ewentualną możliwością przedłużenia.
Współpraca z amerykańskim klientem w niewielkim zespole danych.
Wpływ na niezawodność, wydajność i koszty działającej platformy AWS.
Możliwość rozwijania doświadczenia w przygotowywaniu i wdrażaniu rozwiązań ML/AI.

Inne informacje

Rozpoczęcie współpracy ASAP.

Devire

148 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz