Upvanta

Data Engineer (Spark)

1200 PLN/ dzień./ dzień.B2BB2B (netto)

SeniorZdalnie·WrocławFull-time·B2B

#466001·Dodano 20 dni temu·2

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

SparkDataPython SQL MongoDBStructured StreamingDataFramesPySpark

Podsumowanie oferty

W zespole Data Platform osoba na tym stanowisku będzie projektować i rozwijać rozwiązania do rekoncyliacji danych w warstwie ODS dla branży bankowej. Będzie także rozwijać architekturę Data Lakehouse, wykorzystując Apache Spark, MongoDB i Apache Iceberg.

Wymagania

Wymagania obowiązkowe (must-have):

Minimum 5 lat praktycznego doświadczenia jako Data Engineer lub Big Data.
Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector.
Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
Bardzo dobra znajomość języków Python i SQL.
Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych.
Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana.
Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.

Mile widziane:

Doświadczenie w pracy z Delta Lake lub Apache Hudi.
Znajomość Kubernetes, Dockera i Spark Operator.
Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace.
Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych.
Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.

Obowiązki

Zakres obowiązków:

Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.
Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana.
Automatyzacja budowania, testowania i wdrażania aplikacji Spark z wykorzystaniem Jenkins oraz, w zależności od środowiska, Dockera i Kubernetes.
Diagnozowanie problemów związanych z jakością, spójnością i aktualnością danych oraz opóźnieniami w przetwarzaniu.
Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
Współpraca z Data Engineerami, analitykami biznesowymi, testerami i zespołem DevOps w metodykach Agile.
Udział w code review, dzielenie się wiedzą oraz wspieranie rozwoju technicznego zespołu.

Upvanta

201 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz