Upvanta

Spark / Data Lakehouse Developer

1000 - 1250 PLN/ dzień./ dzień.B2BB2B (netto)

MidHybryda·WrocławFull-time·B2B

#464243·Dodano 22 dni temu·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Apache Spark PySpark Spark SQL MongoDBMongoDB Spark ConnectorApache IcebergCI/CD Jenkins Prometheus

Podsumowanie oferty

Dołączysz do zespołu Data Platform i będziesz rozwijać rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse. Praca obejmuje technologie takie jak Spark, MongoDB i Apache Iceberg.

Wymagania

Oczekiwania:

Minimum 4 lata doświadczenia z Apache Spark.
Bardzo dobra znajomość PySpark i Spark SQL.
Doświadczenie z MongoDB i MongoDB Spark Connector.
Praktyczna znajomość Apache Iceberg.
Doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold.
Znajomość CI/CD i Jenkins.
Znajomość Prometheus i Grafana.
Doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence.

Wymagania:

Umiejętność optymalizacji procesów Spark.
Doświadczenie w rekoncyliacji i kontroli jakości danych.
Znajomość partitioningu, cachingu, broadcast joins i AQE.
Doświadczenie w pracy z dużymi zbiorami danych.
Samodzielność i analityczne podejście do rozwiązywania problemów.
Umiejętność współpracy z zespołami Data, QA i DevOps.

Obowiązki

Rozwijanie rozwiązań Data Engineeringowych związanych z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.

Benefity

Praca przy nowoczesnej platformie Data Lakehouse.
Udział w projektach związanych z dużymi zbiorami danych.
Praca ze stackiem obejmującym Spark, MongoDB, Iceberg, Kubernetes, Prometheus i Grafana.
Możliwość rozwoju i wpływu na rozwiązania technologiczne.

Upvanta

201 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz