AWS Data Enginer

140 - 160 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnieFull-time·B2B

#472692·Dodano 2 dni temu·4

Źródło: nofluffjobs.com

Aplikuj teraz

Tech Stack / Keywords

Data engineeringSQL Python PySparkAmazon RedshiftdbtSegmentAWS S3IAMGlueAWS LambdaAmazon EMRAmazon RDSApache AuroraInfrastructure as CodeCloudFormationTerraform CI/CD MLAIAmplitudeMLOpsLLMAPIOpenAI ClaudeLookerAirflow RedshiftP

Podsumowanie oferty

Dołączysz do niewielkiego zespołu danych rozwijającego platformę danych w AWS dla amerykańskiej firmy tworzącej produkty cyfrowe. Będziesz odpowiadać za przepływ danych do hurtowni Redshift oraz ich spójność w raportach i analityce produktowej, a także przygotowywać dane na potrzeby rozwiązań ML/AI.

Wymagania

Minimum 4 lata doświadczenia w Data Engineering.
Bardzo dobra znajomość SQL, Python i PySpark.
Doświadczenie z Amazon Redshift lub podobną hurtownią MPP, w tym w optymalizacji wydajności, zarządzaniu obciążeniem i modelowaniu wymiarowym, w tym SCD.
Praktyczna znajomość dbt: modeli przyrostowych, testów i konfiguracji źródeł danych.
Doświadczenie z Segment lub podobną platformą Customer Data Platform oraz projektowaniem schematów zdarzeń.
Znajomość usług AWS: S3, IAM, Glue, Lambda, Step Functions, EMR oraz RDS/Aurora.
Doświadczenie z Infrastructure as Code — CloudFormation/SAM lub Terraform — oraz procesami CI/CD.
Umiejętność budowania pipeline’ów umożliwiających bezpieczne ponowne przetwarzanie i uzupełnianie danych historycznych.
Praktyczne doświadczenie w przygotowywaniu danych do zastosowań ML/AI, np. tworzeniu cech, zbiorów treningowych lub udostępnianiu modeli do predykcji.
Znajomość języka angielskiego na poziomie minimum B2.

Mile widziane:

Znajomość Braze, Amplitude, AppsFlyer oraz danych dotyczących atrybucji marketingowej i cyklu życia klienta.
Doświadczenie z SageMaker lub innymi narzędziami MLOps.
Doświadczenie z aplikacjami opartymi na LLM, w tym Bedrock, API Anthropic lub OpenAI, ewaluacją oraz zarządzaniem promptami i kosztami.
Znajomość Claude Code lub innych narzędzi AI wspierających programowanie.
Znajomość Looker/LookML i Airflow.
Doświadczenie z Redshift Spectrum, udostępnianiem danych oraz optymalizacją kosztów Redshift.
Doświadczenie z danymi płatniczymi i subskrypcyjnymi, szczególnie ze Stripe, PayPal, App Store lub Google Play.
Doświadczenie w integracjach z zewnętrznymi API i eksportami danych, obejmujące obsługę limitów zapytań, zmian schematów oraz ponawiania prób.

Obowiązki

Rozwój i utrzymanie platformy danych opartej na AWS, PySpark, dbt i Redshift.
Monitorowanie pipeline’ów, rozwiązywanie awarii, poprawianie danych oraz podłączanie nowych źródeł, m.in. Aurora PostgreSQL i SQS.
Rozwijanie transformacji danych, testów jakości i monitorowania aktualności danych.
Zarządzanie konfiguracją Segment, schematami zdarzeń oraz przepływem danych między aplikacjami, hurtownią i narzędziami analityczno-marketingowymi.
Wyjaśnianie rozbieżności między danymi w Redshift, Braze, Amplitude, AppsFlyer i Looker.
Udostępnianie danych z hurtowni systemom zewnętrznym i partnerom, w tym grup odbiorców, atrybutów użytkowników oraz zdarzeń.
Utrzymywanie istniejących modeli ML, przygotowywanie cech i zbiorów treningowych oraz wdrażanie modeli na SageMaker.
Wspieranie projektów AI przez zapewnianie dostępu do danych, przygotowywanie zbiorów do ewaluacji i kontrolowanie kosztów.
Wspieranie rozwoju umiejętności korzystania z Claude Code przez analityków przy pracy z SQL i specyfikacjami śledzenia zdarzeń.
Optymalizacja wydajności i kosztów dwóch klastrów Redshift.
Zarządzanie infrastrukturą przy użyciu AWS SAM, CloudFormation i CI/CD oraz migracja funkcji starszych rozwiązań do obecnego środowiska.
Uzgadnianie definicji metryk z zespołami analityki, finansów i produktu oraz zapewnianie ich spójności w hurtowni i raportach.
Rozwijanie projektu dbt, przegląd kodu i mentoring młodszego inżyniera.

Inne informacje

Rozpoczęcie współpracy ASAP.

Devire

148 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz