TQLO sp. z o.o.

Data Engineer (with Snowflake & Airflow)

120 - 145 PLN/ godz./ godz.

MidZdalnieFull-time

#469181·Dodano 7 dni temu·3

Źródło: TQLO

Aplikuj teraz

Tech Stack / Keywords

Apache Airflow Python SnowflakedbtAWS S3SQL pytest Git CI/CD Docker

Podsumowanie oferty

Data Engineer będzie realizować projekt dla klienta, projektując i rozwijając skalowalne pipeline’y danych. Praca obejmuje integrację i transformację danych oraz zasilanie Data Lake z wykorzystaniem Apache Airflow, Python, Snowflake, dbt i AWS S3.

Wymagania

Minimum 3 lata komercyjnego doświadczenia w realizacji projektów Data Engineering.
Bardzo dobra znajomość Apache Airflow (DAGs, operators, sensors, hooks, TaskFlow API, XCom, pools, backfills, idempotent DAG design).
Bardzo dobra znajomość Pythona, w tym tworzenia czytelnego, testowalnego kodu oraz testów z wykorzystaniem pytest.
Zaawansowana znajomość SQL (CTE, window functions, optymalizacja zapytań).
Praktyczne doświadczenie z Snowflake (warehouses, stages, external volumes, COPY INTO).
Doświadczenie z dbt (models, tests, macros, snapshots, incremental models).
Znajomość AWS S3, architektury Data Lake, partycjonowania danych, formatów Parquet, JSON, CSV oraz polityk IAM.
Doświadczenie z Git i CI/CD.
Znajomość języka angielskiego na poziomie B2/C1.
Samodzielność w realizacji powierzonych usług, odpowiedzialność za jakość dostarczanych rozwiązań oraz umiejętność komunikacji z interesariuszami technicznymi i biznesowymi.

Mile widziane:

Znajomość Docker i Kubernetes.
Doświadczenie z Apache Iceberg lub Delta Lake.
Znajomość narzędzi Data Quality i Data Observability (Great Expectations, Soda).
Doświadczenie w modelowaniu wymiarowym danych (Kimball).

Obowiązki

Projektowanie, tworzenie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Apache Airflow z wykorzystaniem Pythona.
Implementacja procesów ETL/ELT integrujących dane z API, baz danych oraz plików do Data Lake (AWS S3) i Snowflake.
Modelowanie i transformacja danych z wykorzystaniem dbt.
Optymalizacja zapytań SQL oraz wydajności i kosztów przetwarzania danych w Snowflake.
Projektowanie i wdrażanie mechanizmów monitorowania, alertowania oraz obsługi błędów w pipeline’ach danych.
Implementacja mechanizmów kontroli jakości danych, w tym testów i walidacji.
Opracowywanie i aktualizacja dokumentacji technicznej dotyczącej dostarczanych rozwiązań.

Inne informacje

Praca zdalna z terytorium Polski.
Preferowana dostępność od zaraz lub w ciągu maksymalnie 2 tygodni.

TQLO sp. z o.o.

38 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz