Integral Solutions

Data Engineer – Azure / Databricks / AWS

140 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WarszawaFull-time·B2B

#394134·Dodano 3 miesiące temu·6

Źródło: Integral Solutions

Aplikuj teraz

Tech Stack / Keywords

Azure Databricks AWS Microsoft AzureAI

Firma i stanowisko

Data Engineer będzie odpowiedzialny za projektowanie, budowę oraz rozwój nowoczesnych platform danych opartych o technologie chmurowe Microsoft Azure, AWS oraz Databricks. Rola koncentruje się na tworzeniu wydajnych procesów przetwarzania danych, wdrażaniu architektury Lakehouse oraz zapewnieniu wysokiej jakości i dostępności danych dla zespołów analitycznych, biznesowych i AI.

Wymagania

Minimum 3–5 lat doświadczenia na stanowisku Data Engineer lub pokrewnym.
Bardzo dobra znajomość SQL oraz modelowania danych.
Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT.
Praktyczna znajomość Azure Data Platform.
Doświadczenie komercyjne z Azure Databricks oraz Apache Spark (PySpark).
Bardzo dobra znajomość języka Python.
Doświadczenie w pracy z usługami danych AWS.
Znajomość architektury Data Lake, Data Warehouse oraz Lakehouse.
Doświadczenie z narzędziami kontroli wersji (Git).
Znajomość zagadnień związanych z wydajnością, skalowalnością oraz bezpieczeństwem danych.
Umiejętność pracy w środowisku Agile/Scrum.

Obowiązki

Projektowanie, rozwój i utrzymanie procesów ETL/ELT dla danych pochodzących z różnych systemów źródłowych.
Budowa i rozwój rozwiązań Data Lake, Data Warehouse oraz Lakehouse w środowiskach Azure i AWS.
Tworzenie oraz optymalizacja pipeline’ów danych z wykorzystaniem Databricks i Apache Spark (PySpark).
Modelowanie danych oraz implementacja warstw Bronze, Silver i Gold zgodnie z architekturą Medallion.
Integracja danych z systemów ERP, CRM, aplikacji biznesowych, API oraz źródeł zewnętrznych.
Wykorzystanie usług chmurowych do przetwarzania i przechowywania danych:
- Azure: Data Factory, Data Lake Storage Gen2, Synapse Analytics, Databricks
- AWS: S3, Glue, Athena, Redshift, EMR, Lambda
Zapewnienie jakości danych poprzez wdrażanie mechanizmów walidacji, monitoringu i kontroli procesów.
Optymalizacja wydajności procesów Spark oraz kosztów przetwarzania danych w chmurze.
Automatyzacja wdrożeń i zarządzanie środowiskami z wykorzystaniem narzędzi CI/CD.
Współpraca z zespołami Data Science, BI, Analityki oraz Architektury IT.
Tworzenie dokumentacji technicznej oraz standardów przetwarzania danych.
Wsparcie inicjatyw związanych z Data Governance, Data Security oraz Data Lineage.

Benefity

Praca na kontrakcie B2B
Prezenty na różne okazje
Wydarzenia firmowe

Premie

Spotkania integracyjne

Integral Solutions

80 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz