Senior Data Engineer (AWS/PySpark) [M/F]

155 - 180 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnieFull-time·B2B

#472694·Dodano 12 dni temu·6

Źródło: nofluffjobs.com

Aplikuj szybko

Tech Stack / Keywords

SQL Python PySpark AWS

Podsumowanie oferty

Rozwój i utrzymanie nowoczesnej platformy danych w środowisku AWS w niewielkim zespole. Platforma przetwarza i udostępnia dane na potrzeby analityki, raportowania oraz integracji z systemami produktowymi i marketingowymi, wykorzystując m.in. Amazon Redshift, PySpark, dbt i Airflow.

Wymagania

Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering, w tym pracy z produkcyjnymi hurtowniami danych.
Bardzo dobra znajomość SQL i Pythona, w tym praktyczne doświadczenie z PySpark.
Doświadczenie z Amazon Redshift lub inną hurtownią danych typu MPP, obejmujące optymalizację wydajności i modelowanie wymiarowe danych, w tym SCD.
Praktyczna znajomość dbt, w szczególności modeli inkrementalnych, testowania danych i zarządzania źródłami.
Doświadczenie z AWS: S3, IAM, Glue, Lambda, Step Functions, EMR oraz RDS/Aurora.
Znajomość platformy Segment lub podobnego rozwiązania CDP oraz doświadczenie w projektowaniu schematów zdarzeń.
Doświadczenie w projektowaniu niezawodnych, idempotentnych pipeline’ów danych z możliwością ponownego przetwarzania danych historycznych.
Praktyczna znajomość Infrastructure as Code (CloudFormation, AWS SAM lub Terraform) oraz procesów CI/CD.
Doświadczenie w przygotowywaniu danych na potrzeby projektów ML/AI, np. feature engineering, tworzenie zbiorów treningowych lub wdrażanie modeli.

Obowiązki

Rozwój, utrzymanie i optymalizacja pipeline’ów danych w środowisku AWS.
Projektowanie i implementacja procesów ETL/ELT z wykorzystaniem PySpark, dbt, AWS Glue, EMR i Step Functions.
Integracja nowych źródeł danych, w tym baz PostgreSQL (Aurora), Amazon SQS oraz zewnętrznych API.
Rozwój i optymalizacja hurtowni danych Amazon Redshift, w tym poprawa wydajności zapytań i redukcja kosztów infrastruktury.
Tworzenie i rozwijanie modeli danych w dbt, wdrażanie testów jakości danych oraz monitorowanie ich aktualności.
Utrzymanie i rozwój integracji z platformami Segment, Braze, Amplitude i AppsFlyer oraz zapewnianie spójności danych między systemami.
Monitorowanie procesów przetwarzania danych, diagnozowanie błędów i rozwiązywanie problemów produkcyjnych.
Projektowanie i wdrażanie mechanizmów automatyzacji oraz zarządzanie infrastrukturą jako kodem (IaC) z wykorzystaniem CloudFormation/SAM lub Terraform i CI/CD.
Przygotowywanie zbiorów danych treningowych i pipeline’ów cech na potrzeby modeli Machine Learning oraz wspieranie ich wdrażania w Amazon SageMaker.
Wsparcie inicjatyw AI/LLM, w szczególności w zakresie dostępu do danych, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów.

Arche Solutions

27 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj szybko