Snowflake Data Engineer (Airflow)

110 - 120 PLN/ godz./ godz.

MidZdalnieFull-time

#474255·Dodano dziś·1

Źródło: LinkGroup

Aplikuj teraz

Tech Stack / Keywords

Apache Airflow Python Snowflake SQLdbtAWS S3Git CI/CD Docker Kubernetes

Podsumowanie oferty

Będziesz rozwijać i utrzymywać potoki danych oraz procesy pozyskiwania i transformacji danych. Praca obejmuje Apache Airflow, Python, Snowflake, dbt i AWS S3.

Wymagania

Co najmniej 3 lata doświadczenia zawodowego w inżynierii danych.
Zaawansowana znajomość Apache Airflow, w tym tworzenia DAG-ów, operatorów, sensorów, hooków, TaskFlow API i optymalizacji przepływów pracy.
Zaawansowana znajomość Python, w tym pisania czystego, łatwego w utrzymaniu i testowalnego kodu.
Zaawansowana znajomość SQL, w tym złożonych zapytań, CTE, funkcji okienkowych i optymalizacji wydajności.
Praktyczne doświadczenie z Snowflake, w tym z hurtowniami, stages, external volumes i procesami ładowania danych.
Praktyczna znajomość dbt, w tym modeli, testów, makr, snapshots i transformacji przyrostowych.
Doświadczenie z AWS S3 i architekturą Data Lake, w tym partycjonowaniem danych, formatami plików i zarządzaniem dostępem.
Znajomość Git i praktyk CI/CD.
Znajomość języka angielskiego na poziomie B2 lub wyższym.

Nice to have:

Doświadczenie z Docker i Kubernetes.
Znajomość Apache Iceberg lub Delta Lake.
Znajomość narzędzi do jakości danych i obserwowalności, takich jak Great Expectations lub Soda.
Zrozumienie wymiarowego modelowania danych (metodologia Kimballa).

Obowiązki

Rozwijać i utrzymywać potoki danych z użyciem Apache Airflow i Python.
Budować procesy pozyskiwania danych z API, baz danych i plików do AWS S3 oraz Snowflake.
Projektować i wdrażać transformacje danych z użyciem dbt.
Optymalizować zapytania Snowflake, wydajność hurtowni i zużycie zasobów.
Wdrażać monitorowanie potoków, obsługę błędów i mechanizmy alertowania.
Zapewniać jakość, spójność i niezawodność danych poprzez automatyczne testy i walidację.
Prowadzić dokumentację techniczną i stosować dobre praktyki inżynierii danych.

Link Group

553 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz