Senior Data Engineer

135 - 150 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnie·WarszawaInne·B2B

#477569·Dodano 6 dni temu·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

ETL Databricks Apache Spark Python Scala Git CI/CD SQL

Podsumowanie oferty

Projektowanie i implementacja architektury ETL/ELT oraz potoków danych w środowisku Databricks. Optymalizacja przetwarzania danych z wykorzystaniem Apache Spark oraz Pythona lub Scali.

Wymagania

Minimum 3–5 lat doświadczenia w pracy z przetwarzaniem dużych zbiorów danych oraz platformami Spark/Databricks.
Zaawansowana znajomość Pythona lub Scali oraz umiejętność pisania wydajnych zapytań i transformacji danych.
Doświadczenie w projektowaniu i wdrażaniu potoków ETL/ELT oraz pracy z hurtowniami danych i jeziorami danych.
Znajomość zagadnień z zakresu optymalizacji wydajności Spark, zarządzania zasobami i tuningowania klastrów.
Umiejętność pracy z systemami kontroli wersji (Git) oraz znajomość narzędzi CI/CD w kontekście rozwiązań danych.
Dobre umiejętności komunikacyjne i doświadczenie we współpracy międzyzespołowej.
Wykształcenie wyższe techniczne lub równoważne doświadczenie zawodowe związane z inżynierią danych.

Obowiązki

Projektowanie i implementacja architektury ETL/ELT w środowisku Databricks.
Tworzenie i optymalizacja potoków danych z wykorzystaniem Apache Spark oraz języków Python/Scala.
Współpraca z zespołami analitycznymi i produktowymi w celu zrozumienia wymagań biznesowych i przekształcenia ich w rozwiązania techniczne.
Automatyzacja procesów przetwarzania danych oraz zapewnienie ich wydajności i skalowalności.
Monitorowanie, diagnozowanie i rozwiązywanie problemów wydajnościowych środowisk danych.
Wdrażanie praktyk związanych z jakością danych, bezpieczeństwem oraz zarządzaniem metadanymi.
Tworzenie dokumentacji technicznej i udział w przeglądach kodu.

Inne informacje

Proces rekrutacyjny obejmuje aplikację, screening i ofertę.

RITS

103 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz