Scalo

Data Engineer

do 140 PLN/ godz./ godz.B2BB2B (netto)

MidHybryda·WarszawaFull-time·B2B

#456697·Dodano 11 dni temu·0

Źródło: Scalo

Aplikuj teraz

Tech Stack / Keywords

ETL Python RustQdrantREST API KafkaPub/SubLinux PostgreSQL Docker

Firma i stanowisko

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,

• tworzenie oprogramowania,

• systemy wbudowane,

• rozwiązania chmurowe,

• zarządzanie danymi,

• dedykowane zespoły projektowe.

Wymagania

Doświadczenie w inżynierii danych, w szczególności w budowaniu pipeline’ów i usług przetwarzających dane (min. 3-5 lat).
Dobra znajomość Pythona lub Rusta.
Praktyczna znajomość wektorowych baz danych, w szczególności Qdrant.
Znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych.
Doświadczenie w projektowaniu lub rozwijaniu integracji opartych na REST API.
Znajomość architektury sterowanej zdarzeniami (event-driven architecture), np. z wykorzystaniem Kafka lub Pub/Sub.
Dobra znajomość systemu Linux.
Znajomość relacyjnych baz danych, np. PostgreSQL.
Umiejętność projektowania i rozwijania procesów przetwarzania danych.
Samodzielność w analizie problemów technicznych i proponowaniu rozwiązań.

Mile widziane:

Doświadczenie z Docker, Kubernetes i CI/CD.
Znajomość GCP, w tym BigQuery, Dataflow, Dataproc lub Pub/Sub.
Znajomość Apache Airflow, Apache Spark lub Apache Beam.
Doświadczenie z przetwarzaniem danych niestrukturalnych, w tym OCR, transkrypcją audio i konwersją dokumentów.
Znajomość grafowych baz danych, np. Neo4j.
Doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG.
Znajomość FastAPI.

Obowiązki

Budowa i rozwój pipeline’ów danych niestrukturalnych dla obszaru sztucznej inteligencji.
Projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych oraz rozwiązań dla agentów AI.
Tworzenie procesów przetwarzania danych pochodzących z dokumentów, obrazów i plików audio.
Implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów.
Rozwój rozwiązań wykorzystujących embeddingi, wyszukiwanie semantyczne, indeksowanie oraz filtrowanie danych po metadanych.
Integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant.
Projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta.
Tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API.
Rozwój mechanizmów przetwarzania danych opartych na architekturze zdarzeniowej, m.in. Kafka lub Pub/Sub.
Współpraca przy projektowaniu usług kategoryzacji danych, ontologii oraz rozwiązań wspierających przetwarzanie informacji na potrzeby AI.
Analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych.
Współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI.

Benefity

Możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services.
Zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie.
Dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Opieka zdrowotna

Karta sportowa

Scalo

899 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz