Principal Databricks Architect

Dla klienta - wiodącej, globalnej platformy z branży FinTech/Crypto z siedzibą w USA.

• Wieloletnie doświadczenie eksperckie w pracy z Databricks oraz Apache Spark.
• Bardzo dobra znajomość architektury Spark, optymalizacji zapytań, konfiguracji klastrów oraz optymalizacji kosztowej środowisk chmurowych.
• Praktyczne doświadczenie z Structured Streaming / Spark Streaming przy przetwarzaniu milionów zdarzeń na minutę.
• Bardzo dobra znajomość integracji Apache Kafka + Databricks/Spark na AWS.
• Udokumentowane doświadczenie w benchmarkingu wydajnościowym i kosztowym (TCO).
• Praktyczna znajomość AWS EC2 optimization, Photon Engine, autoscalingu, Delta Lake tuning, cost optimization / FinOps.
• Umiejętność całościowego spojrzenia na architekturę systemów danych.
• Silne kompetencje analityczne i biznesowe.
• Umiejętność przygotowania precyzyjnych analiz kosztowych i raportów porównawczych.
• Bardzo dobra komunikacja biznesowa i techniczna.
• Gotowość do współpracy z zespołami w USA (częściowa praca w godzinach popołudniowych/wieczornych czasu polskiego).
• Umiejętność pracy pod presją czasu oraz realizacji krótkich, intensywnych projektów typu PoC/Benchmark.
• Język angielski na poziomie minimum C1.

• Zaprojektowanie i implementacja rozwiązania benchmarkowego w środowisku Databricks na AWS.
• Budowa oraz optymalizacja pipeline'ów Big Data przetwarzających dane historyczne i strumieniowe.
• Projektowanie architektury end-to-end: ingestion, processing, storage oraz monitoring kosztów.
• Optymalizacja wydajności Apache Spark, Structured Streaming oraz Delta Lake.
• Dobór optymalnej konfiguracji infrastruktury AWS i Databricks pod kątem TCO.
• Analiza i raportowanie kosztów oraz wydajności rozwiązania Databricks w porównaniu do Snowflake.
• Współpraca z zespołami technicznymi i biznesowymi klienta w USA.

Informujemy, że administratorem danych jest co.brick Sp. z o.o. z siedzibą w Gliwicach, ul. Kaczyniec 9 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.