Data Engineer (AWS)

140 - 160 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WarszawaInne·B2B

#472863·Dodano 2 dni temu·2

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Amazon AWS Python SQL PySparkAmazon RedshiftDBTInfrastructure as codeCI/CD MLAI

Podsumowanie oferty

Dołączysz do międzynarodowego zespołu rozwijającego platformę danych wspierającą produkty cyfrowe, analitykę produktową i dane subskrypcyjne oraz płatnicze. Będziesz rozwijać i utrzymywać pipeline’y danych oraz zwiększać niezawodność, wydajność i efektywność kosztową platformy, wykorzystując AWS, PySpark i dbt.

Wymagania

Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym doświadczenie w samodzielnym rozwijaniu i utrzymywaniu produkcyjnego data warehouse.
Bardzo dobra znajomość SQL i Python, w tym PySpark.
Praktyczne doświadczenie z Amazon Redshift lub podobnym rozwiązaniem MPP, w szczególności w zakresie optymalizacji wydajności, distribution keys, sort keys i workload management.
Znajomość modelowania danych, w tym dimensional modeling oraz Slowly Changing Dimensions.
Doświadczenie z dbt: incremental models, tests i sources.
Praktyczna znajomość Segment lub podobnej platformy Customer Data Platform (CDP) oraz projektowania event schemas.
Doświadczenie w środowisku AWS: S3, IAM, Glue, Lambda, Step Functions, Spark on EMR oraz RDS/Aurora.
Znajomość Infrastructure as Code, np. CloudFormation, AWS SAM lub Terraform.
Doświadczenie w pracy z CI/CD.
Umiejętność projektowania idempotentnych pipeline’ów oraz procesów umożliwiających ponowne przetwarzanie danych (backfilling).
Praktyczne doświadczenie w przygotowywaniu danych pod rozwiązania ML/AI, np. feature engineering, training datasets lub model serving. Nie jest wymagane kompleksowe zarządzanie całym cyklem życia modeli ML.

Dodatkowe informacje:

Bardzo dobra znajomość języka angielskiego – poziom B2, C1 lub C2.
Samodzielność w rozwiązywaniu problemów technicznych.
Umiejętność pracy z produkcyjnymi systemami danych i podejmowania decyzji dotyczących architektury.

Obowiązki

Zakres współpracy:

Rozwijanie i utrzymywanie pipeline’ów danych oraz reagowanie na problemy związane z ich działaniem.
Projektowanie i rozwój procesów ingestii danych, w tym integracji z bazami Aurora PostgreSQL oraz SQS.
Budowanie i optymalizacja transformacji danych z wykorzystaniem PySpark i dbt.
Rozwijanie mechanizmów kontroli jakości danych, monitorowania ich aktualności i niezawodności pipeline’ów.
Zarządzanie konfiguracją Segment, projektowanie schematów zdarzeń oraz współpraca z zespołami Product i Engineering.
Zapewnienie spójności danych pomiędzy Redshift a narzędziami Braze, Amplitude, AppsFlyer i Looker.
Przygotowywanie i udostępnianie danych dla narzędzi zewnętrznych, partnerów oraz zespołów wewnętrznych.
Rozwijanie istniejących modeli ML, przygotowywanie feature pipelines i zbiorów treningowych oraz wdrażanie modeli z wykorzystaniem AWS SageMaker.
Wsparcie inicjatyw AI, w tym rozwiązań opartych na LLM, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów.
Optymalizacja wydajności i kosztów Amazon Redshift.
Rozwijanie infrastruktury jako kodu z wykorzystaniem AWS SAM, CloudFormation lub podobnych rozwiązań oraz CI/CD.
Modernizacja istniejącej architektury i stopniowe przenoszenie starszych rozwiązań na aktualny stack technologiczny.
Współpraca z zespołami Analytics, Finance i Product przy definiowaniu oraz standaryzacji metryk biznesowych.
Rozwijanie projektu dbt, w tym modeli incremental, testów i kontroli jakości danych.
Code review oraz wsparcie merytoryczne mniej doświadczonych członków zespołu.

RITS

90 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz