Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Brak informacji o wynagrodzeniu

MidHybryda·PuławskaFull-time·B2B

#465898·Dodano 5 dni temu·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python PySpark Hadoop SQL GCP BigQuery Airflow

Podsumowanie oferty

Rozwój procesów przetwarzania danych w chmurze oraz budowa frameworków testowych i walidacyjnych dla danych krytycznych biznesowo w międzynarodowym projekcie dla klienta z sektora bankowego. Praca obejmuje technologie Python, PySpark, Apache Spark, GCP i Hadoop.

Wymagania

Wymagania:

Minimum 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych.
Zaawansowana znajomość Python z naciskiem na OOP, wzorce projektowe oraz pisanie czystego, modularnego kodu.
Doświadczenie z PySpark i Apache Spark, w tym optymalizacją zadań, partitioningiem i monitorowaniem klastrów.
Doświadczenie z ekosystemem Hadoop i pracą na dużych wolumenach danych.
Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.
Umiejętność budowania testów automatycznych na styku Spark / Python oraz doświadczenie w pracy z Airflow i CI/CD (Jenkins).
Dobry angielski, minimum B2, do codziennej komunikacji w projekcie.

Mile widziane:

Doświadczenie w domenie bankowej lub finansowej.

Obowiązki

Zakres obowiązków:

Rozwijanie procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.
Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.
Budowanie frameworków walidacyjnych w PySpark / Python do weryfikacji schematów, transformacji i reguł biznesowych przed wdrożeniem na produkcję.
Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python / PySpark.
Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).
Automatyzowanie wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Benefity

Medicover rozszerzony o stomatologię.
FitProfit.
Lekcje języka angielskiego.
Treningi na siłowni F45 w biurze pod okiem profesjonalnych trenerów.
Możliwość finansowania certyfikatów IT.
Wewnętrzny program poleceń.
Wydarzenia okolicznościowe i wyjazdy integracyjne.

Opieka zdrowotna

Karta sportowa

Kursy językowe

Dofinansowanie szkoleń

Spotkania integracyjne

Nexio Management

185 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz