Senior Data Engineer (Rust, DataFusion)

Next Technology Professionals poszukuje Senior Data Engineer do projektu tworzenia nowoczesnego, wysokowydajnego silnika bazodanowego i warstwy przetwarzania zapytań dedykowanych skomplikowanym obliczeniom finansowym. Projekt obejmuje technologie takie jak Rust, Apache DataFusion, Apache Arrow, PostgreSQL, SQL, Parquet i CSV. Stanowisko jest samodzielne i wymaga współpracy z ekspertami domenowymi w rozproszonym środowisku. Model pracy to 100% zdalny.

• Zaawansowana komercyjna znajomość języka Rust (asynchroniczność, zarządzanie pamięcią, współbieżność, profilowanie kodu).
• Biegłość w SQL oraz dogłębne zrozumienie PostgreSQL (plany zapytań, agregacje, joiny, spójność transakcyjna).
• Doświadczenie w tworzeniu niezawodnych, wysokowydajnych systemów backendowych, silników zapytań lub infrastruktury analitycznej.
• Wysoka jakość kodu, bezawaryjne wdrożenia produkcyjne i tworzenie kompleksowych testów.

Nice to have:

• Praktyczna znajomość narzędzi Apache Arrow i DataFusion.
• Doświadczenie w budowie parserów SQL lub projektowaniu systemów pod precyzyjne wyliczenia finansowe.

• Optymalizacja i integracja źródeł danych takich jak PostgreSQL, pliki Parquet i CSV, w tym pushdown predykatów i szybkie przetwarzanie wsadowe.
• Tworzenie i wdrażanie mechanizmów kontrolnych na produkcji: precyzja wyliczeń numerycznych, monitorowanie stanu systemu, zarządzanie pamięcią.
• Projektowanie transformacji tabelarycznych w środowisku Rust oraz rozbudowa frameworków Arrow i DataFusion o komponenty planowania zapytań.
• Budowa trwałego katalogu danych, implementacja widoków semantycznych oraz nowych rozszerzeń języka SQL.
• Zapewnienie niezawodnego dostępu do danych dla narzędzi BI i klientów JDBC/JOOQ z pełną kompatybilnością z PostgreSQL.

Informujemy, że administratorem danych jest Next Technology Professionals z siedzibą w Warszawie, ul. Ogrodowa 58. Dane osobowe przetwarzane są wyłącznie w celu realizacji procesu rekrutacji zgodnie z obowiązującymi przepisami.