Senior Data Engineer | Krakow

Brak informacji o wynagrodzeniu

SeniorHybryda·KrakówFull-time·B2B

#465263·Dodano 3 dni temu·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python Databricks PySpark SQLDelta Lakefastapi

Podsumowanie oferty

Jako Senior Data Engineer będziesz projektować i rozwijać skalowalne rozwiązania inżynierii danych w domenie bankowości, usług finansowych i ubezpieczeń (BFSI). Praca obejmuje potoki danych, usługi oparte na FastAPI, przetwarzanie strumieniowe oraz migracje Unity Catalog, z wykorzystaniem Databricks, PySpark, Python, SQL i Delta Lake.

Wymagania

Ponad 7 lat doświadczenia zawodowego w inżynierii danych i tworzeniu oprogramowania oraz praktyczna znajomość Python.
Biegła znajomość Databricks, PySpark, SQL i Delta Lake.
Praktyczne doświadczenie w tworzeniu, rozwijaniu i integrowaniu interfejsów API z użyciem FastAPI.
Udokumentowane doświadczenie w migracjach Databricks Unity Catalog.
Duże doświadczenie z Databricks Structured Streaming i przetwarzaniem danych w czasie rzeczywistym.
Praktyczne doświadczenie w integracji z Oracle, Microsoft SQL Server i Informatica.
Umiejętność samodzielnego projektowania i wdrażania skalowalnych, wydajnych potoków danych oraz rozwiązań przetwarzania danych.
Dobra znajomość modelowania danych, integracji danych, wzorców ETL/ELT i praktyk jakości danych.
Doświadczenie w domenie bankowości, usług finansowych i ubezpieczeń (BFSI) lub wspieraniu jej.
Umiejętności analityczne, rozwiązywania problemów, komunikacji i diagnozowania usterek.

Obowiązki

Inżynieria danych i rozwój potoków:

Projektowanie, rozwój i utrzymanie skalowalnych potoków ETL/ELT z użyciem Databricks, PySpark, SQL i Delta Lake.

Rozwój w Pythonie i API:

Rozwijanie, ulepszanie i utrzymywanie usług opartych na FastAPI, interfejsów REST API oraz integracji wspierających platformy danych przedsiębiorstwa.

Inżynieria Databricks i lakehouse:

Wdrażanie rozwiązań przetwarzania danych z wykorzystaniem Databricks, Delta Lake i nowoczesnych zasad architektury lakehouse.

Migracja Unity Catalog:

Prowadzenie i realizacja migracji Unity Catalog, obejmujących zarządzanie danymi, kontrolę dostępu, zarządzanie metadanymi i walidację migracji.

Przetwarzanie danych w czasie rzeczywistym:

Rozwijanie i optymalizacja rozwiązań Databricks Structured Streaming do pozyskiwania i przetwarzania danych w czasie rzeczywistym i niemal rzeczywistym.

Integracja baz danych i systemów legacy:

Integracja i modernizacja przepływów danych obejmujących Oracle, Microsoft SQL Server i Informatica.

Optymalizacja wydajności:

Identyfikowanie i rozwiązywanie wąskich gardeł wydajnościowych w zadaniach Spark, zapytaniach SQL, obciążeniach strumieniowych i potokach danych.

Chmura i DevOps:

Wspieranie zautomatyzowanych wdrożeń, potoków CI/CD, kontroli wersji i zarządzania wydaniami z użyciem Azure DevOps, GitLab i Git.

Projektowanie rozwiązań:

Samodzielne przekładanie wymagań biznesowych i technicznych na skalowalne, bezpieczne, niezawodne i łatwe w utrzymaniu rozwiązania inżynierii danych.

Współpraca i przywództwo techniczne:

Współpraca z architektami, analitykami biznesowymi, inżynierami danych i interesariuszami przy dostarczaniu rozwiązań zgodnych ze standardami przedsiębiorstwa.

Zgodność z wymogami BFSI:

Przestrzeganie wymogów dotyczących zarządzania danymi, bezpieczeństwa, audytowalności i regulacji właściwych dla bankowości i usług finansowych.

DCV Technologies

59 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz