Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,

• tworzenie oprogramowania,

• systemy wbudowane,

• rozwiązania chmurowe,

• zarządzanie danymi,

• dedykowane zespoły projektowe.

• Minimum 3-5 lat doświadczenia w inżynierii danych, w szczególności w budowaniu pipeline’ów i usług przetwarzających dane
• Dobra znajomość Pythona lub Rusta
• Praktyczna znajomość wektorowych baz danych, zwłaszcza Qdrant
• Znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych
• Doświadczenie w projektowaniu lub rozwoju integracji opartych na REST API
• Znajomość architektury zdarzeniowej (event-driven architecture), np. z użyciem Kafka lub Pub/Sub
• Dobra znajomość systemu Linux
• Znajomość relacyjnych baz danych, np. PostgreSQL
• Umiejętność projektowania i rozwijania procesów przetwarzania danych
• Samodzielność w analizie problemów technicznych i proponowaniu rozwiązań

Nice to have:

• Doświadczenie z Docker, Kubernetes i CI/CD
• Znajomość GCP, w tym BigQuery, Dataflow, Dataproc lub Pub/Sub
• Znajomość Apache Airflow, Apache Spark lub Apache Beam
• Doświadczenie z przetwarzaniem danych niestrukturalnych, w tym OCR, transkrypcją audio i konwersją dokumentów
• Znajomość grafowych baz danych, np. Neo4j
• Doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG
• Znajomość FastAPI

• Budowa i rozwój pipeline’ów danych niestrukturalnych dla projektów AI
• Projektowanie i implementacja przepływów ETL zasilających repozytorium danych i rozwiązania AI
• Tworzenie procesów przetwarzania danych z dokumentów, obrazów i plików audio
• Implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów
• Rozwój rozwiązań z wykorzystaniem embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych
• Integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant
• Projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta
• Tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API
• Rozwój mechanizmów przetwarzania danych w architekturze zdarzeniowej, np. z użyciem Kafka lub Pub/Sub
• Współpraca przy projektowaniu usług kategoryzacji danych, ontologii i rozwiązań wspierających AI
• Analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych
• Współpraca z zespołami Data Engineering oraz AI
• Model realizacji usług: hybrydowo – 1 dzień w tygodniu w biurze w Warszawie

Informujemy, że administratorem danych jest Scalo Sp. z o.o. z siedzibą we Wrocławiu, ul. Powstańców Śląskich 9, 53-332 Wrocław (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.