Data Engineer (with Snowflake & Airflow)

120 - 145 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WarszawaInne·B2B

#473553·Dodano wczoraj·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Snowflake Airflow

Podsumowanie oferty

Poszukujemy Data Engineera do projektu realizowanego dla klienta, obejmującego projektowanie, budowę i optymalizację skalowalnych pipeline’ów danych. W pracy wykorzystywane są Apache Airflow, Python, Snowflake i dbt.

Wymagania

Minimum 3 lata komercyjnego doświadczenia w projektach Data Engineering.
Bardzo dobra znajomość Apache Airflow: DAGs, operators, sensors, hooks, TaskFlow API, XCom, pools, backfills i idempotent DAG design.
Bardzo dobra znajomość Pythona, w tym tworzenia czytelnego, testowalnego kodu oraz testów z wykorzystaniem pytest.
Zaawansowana znajomość SQL, w tym CTE, funkcji okna i optymalizacji zapytań.
Praktyczne doświadczenie z Snowflake, w tym warehouses, stages, external volumes i COPY INTO.
Doświadczenie z dbt, w tym models, tests, macros, snapshots i incremental models.
Znajomość AWS S3, architektury Data Lake, partycjonowania danych, formatów Parquet, JSON i CSV oraz polityk IAM.
Doświadczenie z Git i CI/CD.
Znajomość języka angielskiego na poziomie B2/C1.
Samodzielność w realizacji powierzonych usług, odpowiedzialność za jakość dostarczanych rozwiązań oraz umiejętność komunikacji z interesariuszami technicznymi i biznesowymi.

Mile widziane:

Znajomość Docker i Kubernetes.
Doświadczenie z Apache Iceberg lub Delta Lake.
Znajomość narzędzi Data Quality i Data Observability: Great Expectations, Soda.
Doświadczenie w modelowaniu wymiarowym danych (Kimball).

Obowiązki

Zakres usług:

Projektowanie, tworzenie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Apache Airflow z wykorzystaniem Pythona.
Implementowanie procesów ETL/ELT integrujących dane z API, baz danych i plików do Data Lake (AWS S3) oraz Snowflake.
Modelowanie i transformowanie danych z wykorzystaniem dbt.
Optymalizowanie zapytań SQL oraz wydajności i kosztów przetwarzania danych w Snowflake.
Projektowanie i wdrażanie mechanizmów monitorowania, alertowania oraz obsługi błędów w pipeline’ach danych.
Implementowanie mechanizmów kontroli jakości danych, w tym testów i walidacji.
Opracowywanie i aktualizowanie dokumentacji technicznej dostarczanych rozwiązań.

Inne informacje

Praca zdalna z terytorium Polski.
Preferowana dostępność od zaraz lub w ciągu maksymalnie 2 tygodni.

TQLO sp. z o.o.

38 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz