Staff Data Engineer - High-Performance Data Systems

Brak informacji o wynagrodzeniu

SeniorZdalnie·WarszawaFull-time

#471824·Dodano 5 dni temu·1

Źródło: Next Technology Professionals

Aplikuj teraz

Tech Stack / Keywords

Apache Spark PostgreSQL SQL RustApache DataFusionApache ArrowClickHouseAWS GCP Azure

Podsumowanie oferty

Rola obejmuje budowę architektury danych i infrastruktury obliczeniowej dla nowej platformy klasy enterprise. Będziesz rozwijać skalowalne systemy danych, wysokowydajne przetwarzanie analityczne oraz silnik obliczeniowy z wykorzystaniem Apache Spark, PostgreSQL, SQL, Apache DataFusion, Apache Arrow i Rust.

Wymagania

Solidne doświadczenie w projektowaniu i budowaniu infrastruktury danych, baz danych, platform analitycznych lub wysokowydajnych systemów danych.
Doskonała znajomość SQL oraz PostgreSQL, w tym planowania i optymalizacji zapytań, indeksowania oraz spójności transakcji.
Głębokie zrozumienie architektury danych, modelowania oraz różnic między przetwarzaniem transakcyjnym a analitycznym.
Praktyczna i zaawansowana znajomość Apache Spark.
Doświadczenie w projektowaniu systemów obsługujących duże wolumeny danych, skomplikowane obliczenia i niskie opóźnienia.
Biegłość w korzystaniu z asystentów AI do kodowania oraz zdolność do dostarczania najwyższej jakości kodu produkcyjnego.
Gotowość do podejmowania kluczowych decyzji architektonicznych przy jednoczesnym aktywnym pisaniu kodu.
Rygorystyczne podejście do poprawności, niezawodności, testowania i utrzymywalności oprogramowania.
Znajomość Rust, szczególnie współbieżności, programowania asynchronicznego, zarządzania pamięcią i optymalizacji wydajności.

Mile widziana znajomość:

Apache DataFusion i Apache Arrow.
ClickHouse lub innych silników kolumnowych/OLAP.
Architektury HTAP/Lakehouse.
Chmur AWS, GCP lub Azure.
Systemów obliczeń finansowych.

Obowiązki

Projektowanie i rozwój architektury danych platformy, w tym modelowanie danych, projektowanie schematów i strategii przechowywania oraz obsługa obciążeń transakcyjnych i analitycznych.
Definiowanie architektury przetwarzania danych, równoważenie przetwarzania wsadowego i w czasie rzeczywistym oraz zapewnianie niskich opóźnień i poziomej skalowalności.
Projektowanie i optymalizacja PostgreSQL oraz analitycznej infrastruktury danych, w tym wydajności zapytań, indeksowania i optymalizacji pamięci masowej.
Budowa i rozwój silnika obliczeniowego, w tym niestandardowego wykonywania zapytań i reużywalnych transformacji.
Tworzenie widoków semantycznych, rozszerzeń SQL oraz trwałego katalogu definicji danych i złożonych obliczeń finansowych.
Projektowanie integracji z zewnętrznymi źródłami danych, aplikacjami firm trzecich i systemami AI/ML, w tym z plikami CSV/Parquet.
Ustanawianie standardów poprawności numerycznej, wersjonowania danych, migracji schematów, data lineage, audytowalności, obserwowalności i niezawodności produkcyjnej.

Benefity

Udział w projekcie tworzonym od podstaw, bez konieczności utrzymywania i naprawiania legacy code.
Duża autonomia i decyzyjność oraz wpływ na ostateczny kształt architektury i technologii.
Stabilność finansowania projektu, która pozwala skupić się na innowacjach.

Next Technology Professionals

97 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz