New

Azure Databricks Architect

Brak informacji o wynagrodzeniu

NieokreśloneOn-siteFull-time

#477968·Dodano 5 dni temu·3

Źródło: ITELENCE

Tech Stack / Keywords

Azure DatabricksUnity CatalogApache Airflow Microsoft Azure Generative AI TerraformData LakehouseMachine LearningMLOpsCI/CD

Podsumowanie oferty

Projektowanie architektury platformy danych opartej na Azure Databricks oraz nadzorowanie jej wdrożeń i rozwoju. Rola obejmuje m.in. środowisko Unity Catalog, integracje i przepływy danych z wykorzystaniem Apache Airflow.

Wymagania

Wymagania:

Kilkuletnie doświadczenie w projektowaniu architektury danych oraz rozwiązań opartych na platformie Azure Databricks.
Praktyczne doświadczenie w projektowaniu i prowadzeniu wdrożeń platformy Azure Databricks, obejmujące infrastrukturę oraz konfigurację i zarządzanie Unity Catalog.
Bardzo dobra znajomość architektury i możliwości platformy Databricks, w tym jej zastosowania w środowiskach produkcyjnych.
Doświadczenie w projektowaniu i wdrażaniu architektury przepływów danych (Data Pipelines) oraz procesów integracji danych.
Doświadczenie w projektowaniu i wdrażaniu procesów wymiany danych z partnerami zewnętrznymi.
Praktyczna znajomość Apache Airflow oraz doświadczenie w orkiestracji i automatyzacji procesów przetwarzania danych.
Doświadczenie w projektowaniu architektury rozwiązań chmurowych w środowisku Microsoft Azure.
Znajomość zagadnień bezpieczeństwa danych, zarządzania dostępami oraz governance w środowiskach danych.
Umiejętność analizowania wymagań biznesowych i przekładania ich na skalowalne rozwiązania architektoniczne.
Doświadczenie w prowadzeniu inicjatyw technologicznych oraz koordynowaniu wdrożeń we współpracy z zespołami technicznymi.
Umiejętność komunikacji i współpracy z interesariuszami technicznymi i biznesowymi.
Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku.

Mile widziane:

Doświadczenie we wdrażaniu i wykorzystaniu rozwiązań Generative AI (GenAI) w ekosystemie danych i platformach analitycznych.
Znajomość rozwiązań Databricks związanych z Machine Learning, AI oraz MLOps.
Doświadczenie w projektowaniu architektury Data Lakehouse.
Znajomość zagadnień Data Governance, Data Quality oraz zarządzania cyklem życia danych.
Doświadczenie w integracji platform danych z systemami i usługami partnerów zewnętrznych.
Znajomość narzędzi Infrastructure as Code, np. Terraform.
Doświadczenie w pracy z rozwiązaniami CI/CD dla platform danych.

Obowiązki

Zakres obowiązków:

Projektowanie architektury platformy danych opartej na Azure Databricks, z uwzględnieniem wymagań biznesowych, technologicznych i infrastrukturalnych.
Prowadzenie i nadzorowanie wdrożeń platformy Azure Databricks, w tym projektowanie infrastruktury oraz konfiguracja i rozwój środowiska Unity Catalog.
Definiowanie standardów architektonicznych, dobrych praktyk oraz kierunków rozwoju platformy danych.
Projektowanie i wdrażanie rozwiązań do zarządzania danymi, ich przetwarzania, przechowywania i udostępniania.
Identyfikowanie i wdrażanie funkcjonalności oraz technologii rozszerzających możliwości platformy, w szczególności z obszaru Generative AI (GenAI).
Projektowanie i wdrażanie procesów wymiany oraz integracji danych z partnerami zewnętrznymi.
Projektowanie i rozwój procesów orkiestracji oraz automatyzacji przepływów danych z wykorzystaniem Apache Airflow.
Współpraca z zespołami Data Engineering, Data Science, Cloud i innymi zespołami technologicznymi przy projektowaniu i wdrażaniu rozwiązań danych.
Współpraca z interesariuszami biznesowymi i technicznymi w celu identyfikowania potrzeb, przekładania wymagań na rozwiązania architektoniczne oraz rekomendowania podejść technologicznych.
Nadzorowanie jakości, bezpieczeństwa, skalowalności i wydajności projektowanych rozwiązań.
Wspieranie zespołów technicznych w podejmowaniu decyzji architektonicznych oraz rozwiązywaniu złożonych problemów technologicznych.

Benefity

Udział w rozwoju platformy danych opartej na Azure Databricks.
Możliwość wpływu na architekturę i kierunki rozwoju środowiska technologicznego.
Praca z technologiami z obszaru Data Engineering, Cloud oraz Generative AI.
Możliwość projektowania i wdrażania rozwiązań integracyjnych i analitycznych.
Współpraca z zespołami technologicznymi i biznesowymi.
Długoterminowy projekt z możliwością przedłużenia współpracy.
Multisport Plus.
Prywatna opieka medyczna.

Karta sportowa

Opieka zdrowotna

ITELENCE

61 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz