Senior Data Engineer

170 - 220 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnie·WarszawaFull-time·B2B

#473466·Dodano wczoraj·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Data EngineeringETLData WarehouseSQL AWS PythonDBTApache AirflowData modeling

Podsumowanie oferty

Dołączysz do projektu klienta z obszaru R&D, rozwijając i utrzymując pipeline’y danych. Będziesz pracować z AWS, dbt, Apache Airflow, SQL i Pythonem.

Wymagania

Minimum 7 lat doświadczenia w Data Engineering, ETL oraz rozwoju i modelowaniu Data Warehouse.
Bardzo dobra znajomość SQL, w tym transformacji i walidacji danych, reconciliation, troubleshooting oraz optymalizacji zapytań.
Doświadczenie w dimensional data modeling, w tym Star Schema, Snowflake Schema, Fact and Dimension Modeling oraz Slowly Changing Dimensions.
Praktyczne doświadczenie z Pythonem w obszarze Data Engineering lub automatyzacji workflow.
Doświadczenie z dbt.
Doświadczenie z AWS, w szczególności S3, Glue, Lambda i Redshift.
Doświadczenie z Apache Airflow, w tym tworzeniem DAG-ów i orkiestracją workflow.
Doświadczenie w budowie i utrzymaniu produkcyjnych pipeline’ów ETL/ELT.
Znajomość zagadnień data quality, error handling i production support.
Doświadczenie w tworzeniu diagramów architektury i dokumentacji technicznej.
Znajomość Git lub podobnych narzędzi kontroli wersji.

Obowiązki

Rozwój i utrzymanie pipeline’ów danych R&D.
Analiza plików źródłowych, wymagań biznesowych, mappingów i istniejących konfiguracji pipeline’ów.
Tworzenie i utrzymanie diagramów architektury oraz modeli danych conceptual, logical i physical.
Projektowanie modeli danych w oparciu o Star Schema i Snowflake Schema.
Budowa i optymalizacja transformacji danych z wykorzystaniem dbt.
Rozwój logiki ingestion, transformation i publish z wykorzystaniem YAML, AWS S3, Apache Airflow, SQL i Redshift.
Wsparcie architektury Medallion.
Implementacja kontroli jakości danych i obsługi wyjątków.
Obsługa zmian w schematach danych, nowych kolumn, typach danych, brakujących polach i formatach plików.
Walidacja i reconciliation danych source-to-target przed wdrożeniem produkcyjnym.
Rozwiązywanie problemów z pipeline’ami, brakującymi lub opóźnionymi plikami oraz danymi na produkcji.
Udział w code review, testach, deploymentach i aktualizacji dokumentacji.
Współpraca z biznesem, vendorami i zespołami technicznymi przy doprecyzowaniu wymagań i rozwiązywaniu problemów.

GS Services

11 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz