Staff Data Engineer - High-Performance Data Systems

Brak informacji o wynagrodzeniu

SeniorZdalnie·WrocławFull-time·B2B

#474447·Dodano dziś·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

RustAIPostgreSQL SQLDataApache ArrowApache DataFusion

Podsumowanie oferty

Dla klienta rola obejmuje budowę architektury danych i infrastruktury obliczeniowej dla nowej platformy klasy enterprise. Zakres pracy łączy rozwój skalowalnych systemów danych, przetwarzania analitycznego i silnika obliczeniowego z wykorzystaniem PostgreSQL, SQL, Apache DataFusion, Apache Arrow i Rust.

Wymagania

Solidne doświadczenie w projektowaniu i budowaniu infrastruktury danych, baz danych, platform analitycznych lub wysokowydajnych systemów danych.
Doskonała znajomość SQL oraz PostgreSQL, w tym planowania i optymalizacji zapytań, indeksowania oraz spójności transakcji.
Głębokie zrozumienie architektury danych, modelowania oraz różnic między przetwarzaniem transakcyjnym a analitycznym.
Doświadczenie w projektowaniu systemów obsługujących duże wolumeny danych, skomplikowane obliczenia i niskie opóźnienia.
Biegłość w korzystaniu z asystentów AI do kodowania (AI coding agents) oraz zdolność dostarczania wysokiej jakości kodu produkcyjnego.
Gotowość do podejmowania kluczowych decyzji architektonicznych przy jednoczesnym aktywnym pisaniu kodu (rola hands-on).
Rygorystyczne podejście do poprawności, niezawodności, testowania i utrzymywalności oprogramowania.
Znajomość Rust, szczególnie współbieżności, programowania asynchronicznego, zarządzania pamięcią i optymalizacji wydajności.

Mile widziane:

Znajomość Apache DataFusion i Apache Arrow.
Znajomość ClickHouse lub innych silników kolumnowych/OLAP.
Znajomość architektury HTAP/Lakehouse.
Znajomość chmur AWS, GCP lub Azure.
Znajomość systemów obliczeń finansowych.

Obowiązki

Projektowanie i rozwój architektury danych platformy, w tym modelowanie danych, projektowanie schematów i strategii przechowywania oraz obsługa obciążeń transakcyjnych i analitycznych.
Definiowanie architektury przetwarzania danych, równoważenie przetwarzania wsadowego i w czasie rzeczywistym oraz zapewnianie niskich opóźnień i poziomej skalowalności.
Projektowanie i optymalizacja PostgreSQL oraz analitycznej infrastruktury danych, w tym wydajności zapytań, indeksowania i optymalizacji pamięci masowej.
Budowa i rozwój silnika obliczeniowego, w tym niestandardowego wykonywania zapytań i reużywalnych transformacji.
Tworzenie widoków semantycznych, rozszerzeń SQL oraz trwałego katalogu dla definicji danych i złożonych obliczeń finansowych.
Projektowanie integracji z zewnętrznymi źródłami danych, aplikacjami firm trzecich i systemami AI/ML, w tym plikami CSV i Parquet.
Ustanawianie standardów poprawności numerycznej, wersjonowania danych, migracji schematów, data lineage, audytowalności, obserwowalności i niezawodności produkcyjnej.

Benefity

Udział w projekcie tworzonym od podstaw, bez konieczności utrzymywania i naprawiania tzw. legacy code.
Duża autonomia i decyzyjność; głos osoby na tym stanowisku będzie miał kluczowy wpływ na ostateczny kształt architektury i technologii.
Gwarancja stabilności dzięki niezależnym i pewnym źródłom finansowania.

Inne informacje

Analiza aplikacji jest wspierana przez sztuczną inteligencję, ale profil kandydata weryfikuje rekruter, który podejmuje ostateczną decyzję.

Next Technology Professionals

101 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz