Addepto

Senior Data Engineer / Tech Lead (Spark)

21k - 28.6k PLN21 000 - 28 560 PLN/ mies./ mies.B2BB2B (netto)

SeniorZdalnie·WarszawaFull-time·B2B

#465444·Dodano 12 dni temu·0

Źródło: nofluffjobs.com

Aplikuj teraz

Tech Stack / Keywords

Python SQL Spark AWSIcebergDocker Kubernetes CI/CD KafkaNiFiDatabricks DevOpsClouderadbt

Podsumowanie oferty

Dołączysz do złożonego projektu data engineeringowego, w którym będziesz budować i rozwijać skalowalne pipeline’y danych oraz nowoczesne rozwiązania przetwarzania danych. Rola obejmuje projektowanie i rozwój rozwiązań z użyciem Python, SQL, Spark, Airflow i Apache Iceberg, a także techniczne przywództwo.

Wymagania

Co najmniej 5 lat komercyjnego doświadczenia w Data Engineering lub projektach Big Data.
Dobre umiejętności programowania w Python.
Bardzo dobra znajomość SQL.
Praktyczne doświadczenie z Apache Spark i rozproszonym przetwarzaniem danych.
Doświadczenie z narzędziami do orkiestracji workflow, preferowane Apache Airflow.
Doświadczenie z Apache Iceberg i/lub nowoczesnymi architekturami lakehouse.
Doświadczenie w pracy z Docker i Kubernetes.
Dobra znajomość modelowania danych, pipeline’ów danych i architektur przetwarzania danych.
Doświadczenie z relacyjnymi bazami danych i/lub silnikami zapytań, takimi jak PostgreSQL lub Trino.
Ogólna znajomość środowisk chmurowych i rozwiązań danych opartych na chmurze.
Umiejętność przejmowania odpowiedzialności za rozwiązania techniczne i udziału w decyzjach architektonicznych oraz technicznych.
Doświadczenie we wspieraniu innych inżynierów poprzez doradztwo techniczne, dzielenie się wiedzą lub mentoring.
Umiejętność samodzielnej pracy i przejmowania odpowiedzialności za rezultaty projektu.
Dobre umiejętności komunikacyjne i współpracy.
Biegła znajomość języka angielskiego na poziomie co najmniej C1.
Tytuł licencjata lub magistra w dziedzinie technicznej lub matematycznej.

Obowiązki

Projektowanie, rozwijanie i utrzymywanie skalowalnych pipeline’ów danych z użyciem Python, SQL, Spark i Airflow.
Budowanie i ulepszanie rozwiązań przetwarzania danych opartych na Apache Iceberg i nowoczesnych architekturach lakehouse.
Praca z technologiami takimi jak PyArrow, PyIceberg, PostgreSQL i Trino.
Przejmowanie odpowiedzialności technicznej za wybrane obszary oraz udział w podejmowaniu decyzji technicznych i architektonicznych.
Łączenie pracy programistycznej z przywództwem technicznym i dzieleniem się wiedzą w zespole.
Budowanie i utrzymywanie skonteneryzowanych obciążeń z użyciem Docker i Kubernetes.
Zapewnianie skalowalności, niezawodności, łatwości utrzymania i gotowości produkcyjnej pipeline’ów danych.
Współpraca z inżynierami i innymi interesariuszami w celu zrozumienia wymagań biznesowych i technicznych oraz przekładania ich na skuteczne rozwiązania.
Wspieranie dobrych praktyk inżynierskich, w tym jakości kodu, testowania, CI/CD i automatyzacji.
Monitorowanie, diagnozowanie i ciągłe ulepszanie istniejących pipeline’ów danych i komponentów platformy.
Korzystanie z nowoczesnych praktyk programistycznych, w tym rozwoju wspomaganego przez AI, w celu poprawy efektywności inżynierskiej.

Benefity

Dostęp do zajęć językowych.
Sponsorowane szkolenia i konferencje.
Udział w wydarzeniach integracyjnych i budżet integracyjny.
Pakiety medyczne i sportowe, opieka okulistyczna oraz wsparcie wellbeing, w tym psychoterapia i coaching.
Pełne wyposażenie do pracy, w tym laptop i inne niezbędne urządzenia.
Możliwość rozwoju poprzez ścieżki kariery i inicjatywy dzielenia się wiedzą.

Kursy językowe

Dofinansowanie szkoleń

Budżet konferencyjny

Spotkania integracyjne

Opieka zdrowotna

Karta sportowa

Płatny urlop

Premie

Elastyczne godziny

Szkolenia wewnętrzne

Addepto

56 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz