Data Engineer Databricks Developer

120 - 150 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WarszawaFull-time·B2B

#472467·Dodano 2 dni temu·5

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Data EngineeringBig Data Databricks Apache Spark Python Scala SQLETL/ELTAzure AWS

Podsumowanie oferty

Projektowanie i rozwój aplikacji oraz procesów ETL/ELT w środowisku Databricks. Rola obejmuje optymalizację przetwarzania danych i integrację z usługami chmurowymi oraz narzędziami analitycznymi.

Wymagania

Minimum 3 lata doświadczenia w obszarze Data Engineering / Big Data.
Praktyczne, projektowe doświadczenie z Databricks i Apache Spark (preferowane minimum 3 lata).
Znajomość przynajmniej jednego z języków używanych w Databricks: Python, Scala lub SQL.
Praktyczna wiedza z projektowania procesów ETL/ELT oraz pracy z danymi w formatach Parquet, Avro, CSV i innych.
Umiejętność optymalizacji zapytań i zadań Spark oraz zarządzania zasobami klastra.
Dobre praktyki w zakresie kontroli wersji (Git) i automatyzacji wdrożeń.
Samodzielność w działaniu.
Znajomość języka angielskiego na poziomie C1.

Mile widziane:

Doświadczenie z usługami chmurowymi zintegrowanymi z Databricks (Azure, AWS lub GCP).

Obowiązki

Projektowanie i rozwój aplikacji oraz procesów ETL/ELT w środowisku Databricks.
Implementacja rozwiązań w językach wykorzystywanych na platformie Databricks, np. PySpark i Spark SQL.
Optymalizacja wydajności przetwarzania danych oraz tuning zapytań i zadań.
Integracja Databricks z innymi usługami chmurowymi i narzędziami analitycznymi.
Tworzenie i utrzymanie dokumentacji technicznej oraz standardów kodowania.
Współpraca z zespołami analitycznymi, DevOps i biznesowymi w celu dostarczenia stabilnych rozwiązań.
Udział w przeglądach architektury, kodu i wdrożeń oraz proponowanie usprawnień technicznych.

RITS

90 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz