Nexio Management

Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Brak informacji o wynagrodzeniu

MidZdalnie·KrakówFull-time

#465579·Dodano 12 dni temu·12

Źródło: Nexio Management

Aplikuj teraz

Tech Stack / Keywords

Python PySpark Apache Spark GCP HadoopDataprocBigQueryCloud StorageAirflow Jenkins

Podsumowanie oferty

Inżynier danych dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Będzie rozwijać skalowalne procesy ETL w chmurze oraz projektować frameworki testowe i walidacyjne dla danych krytycznych biznesowo, wykorzystując Python, PySpark i GCP.

Wymagania

Min. 4+ lat doświadczenia w inżynierii danych w środowiskach rozproszonych.
Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).
Doświadczenie z PySpark & Apache Spark (praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).
Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.
Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.
Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).
Dobry angielski (min. B2 do codziennej komunikacji w projekcie).

Mile widziane:

Doświadczenie w domenie bankowej lub finansowej.

Obowiązki

Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.
Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.
Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.
Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python / PySpark.
Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).
Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Benefity

Benefity: Medicover (rozszerzony o stomatologię) i FitProfit.
Lekcje języka angielskiego.
Treningi na siłowni F45 zlokalizowanej w biurze, pod okiem profesjonalnych trenerów.
Wewnętrzny program poleceń.
Możliwość finansowania certyfikatów IT.
Wydarzenia okolicznościowe oraz wyjazdy integracyjne.

Opieka zdrowotna

Karta sportowa

Kursy językowe

Dofinansowanie szkoleń

Spotkania integracyjne

Nexio Management

191 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz