Senior Data Engineer

150 - 160 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnie·WarszawaFull-time·B2B

#467256·Dodano 3 dni temu·2

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python SQL Apache Spark

Podsumowanie oferty

Rozwój globalnej platformy danych dla klienta z branży turystycznej i rejsowej, opartej na ekosystemie Azure. Rola obejmuje projektowanie i utrzymanie rozwiązań danych oraz procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.

Wymagania

Wymagania techniczne:

Znajomość Apache Spark, Python i SQL.
Znajomość Azure Cloud, w tym Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer.
Znajomość Databricks, CI/CD, Azure DevOps i Power BI.
Doświadczenie w budowie i utrzymaniu procesów ETL/ELT.
Doświadczenie z Delta Live Tables (DLT) i Unity Catalog.
Zrozumienie architektury Lakehouse.
Doświadczenie w automatyzacji infrastruktury, monitoringu i logowaniu.

Pozostałe oczekiwania:

Silne umiejętności analityczne i rozwiązywania problemów.
Samodzielność oraz wysoki poziom ownership i odpowiedzialności.
Proaktywne podejście do identyfikowania ryzyk, blokerów i możliwości usprawnień.
Bardzo dobra komunikacja i umiejętność pracy z interesariuszami technicznymi i biznesowymi.
Doświadczenie w pracy w dynamicznym środowisku ze zmieniającymi się priorytetami.
Umiejętność podejmowania pragmatycznych decyzji i dowożenia rezultatów przy niepełnych wymaganiach.
Doświadczenie w zespołach cross-funkcyjnych.
Znajomość zasad data governance, bezpieczeństwa i compliance.
Komfort pracy w środowisku o relatywnie niskim poziomie formalnych procesów.
Elastyczność, odporność i dobra organizacja pracy.
Umiejętność samodzielnego prowadzenia inicjatyw i proponowania praktycznych rozwiązań.

Obowiązki

Czym się zajmiesz:

Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w Azure Data Platform (Azure Synapse, Databricks, Data Lakehouse).
Wdrażanie i optymalizacja procesów ETL/ELT: pobieranie, transformacja i udostępnianie danych z wielu domen biznesowych.
Tworzenie rozwiązań do przetwarzania danych w Pythonie, SQL i Apache Spark.
Wsparcie migracji i modernizacji platformy, w tym wdrożenia Unity Catalog oraz aktualizacji platformy.
Budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków metadata-driven i procesów orkiestracji.
Współpraca z architektami, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne.
Dbanie o jakość, niezawodność, wydajność i bezpieczeństwo danych.
Analiza incydentów produkcyjnych, wyszukiwanie przyczyn źródłowych i wdrażanie działań naprawczych.
Udział we wdrażaniu CI/CD, automatyzacji infrastruktury, monitoringu i dobrych praktyk operacyjnych.
Optymalizacja pipeline’ów, struktur przechowywania danych i obciążeń przetwarzania pod kątem wydajności i kosztów.
Udział w przeglądach rozwiązań i architektury oraz promowanie standardów inżynierskich i zasad governance.
Dzielenie się wiedzą, mentoring i wspieranie rozwoju technicznego zespołu.
Ścisła współpraca z Data Architektami i zespołami platformowymi, aby zapewnić zgodność z architekturą korporacyjną i zasadami Lakehouse.
Dostarczanie niezawodnych, skalowalnych fundamentów danych dla raportowania, analityki i inicjatyw AI/ML.

Inne informacje

Oczekiwany start: ASAP.

JellyLabs Tech

7 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz