Data Engineer (Airflow / Snowflake)

do 160 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnieFull-time·B2B

#471230·Dodano 3 dni temu·1

Źródło: emagine

Aplikuj teraz

Tech Stack / Keywords

Apache Airflow Snowflake Python SQLdbtAWS S3Git CI/CD pytest Docker

Podsumowanie oferty

Projektowanie i utrzymywanie potoków danych ładowanych do Data Lake i Snowflake. Praca obejmuje tworzenie DAG-ów w Apache Airflow z użyciem Python oraz modelowanie i transformację danych w dbt.

Wymagania

Co najmniej 3 lata doświadczenia jako Data Engineer.
Dobra znajomość Apache Airflow: operatorów, sensorów, hooków, TaskFlow API, XCom, pul, backfilli i projektowania idempotentnych DAG-ów.
Dobra znajomość Python, w tym tworzenie czystego, testowalnego kodu i używanie pytest.
Zaawansowana znajomość SQL, w tym funkcji okienkowych, CTE i optymalizacji zapytań.
Praktyczne doświadczenie z Snowflake, w tym z warehouse’ami, stage’ami, external volumes i COPY INTO.
Znajomość dbt: modeli, testów, makr, snapshotów i modeli przyrostowych.
Znajomość AWS S3: organizacji Data Lake, partycjonowania, formatów plików (Parquet, JSON, CSV) i polityk IAM.
Doświadczenie z Git i CI/CD.
Znajomość języka angielskiego na poziomie co najmniej B2.

Mile widziane:

Znajomość Docker i Kubernetes.
Znajomość otwartych formatów tabelarycznych: Apache Iceberg lub Delta Lake.
Znajomość narzędzi do jakości i obserwowalności danych, takich jak Great Expectations lub Soda.
Znajomość modelowania wymiarowego (Kimball).

Obowiązki

Projektowanie, budowanie i utrzymywanie DAG-ów Apache Airflow w Python, które ładują dane do Data Lake (S3) i Snowflake.
Budowanie potoków pobierających dane z API, baz danych i plików.
Modelowanie i transformowanie danych za pomocą dbt.
Optymalizacja zapytań SQL oraz wydajności i kosztów Snowflake.
Konfigurowanie monitorowania, alertów i obsługi błędów dla potoków.
Ochrona jakości danych poprzez testowanie i walidację oraz aktualizowanie dokumentacji.

Inne informacje

Oczekiwany termin rozpoczęcia: ASAP.

emagine

1214 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz