Data Engineer (K/M)

Brak informacji o wynagrodzeniu
MidFull-time·B2B
#432594·Dodano 7 dni temu·1
Źródło: justjoin.it
Aplikuj teraz

Tech Stack / Keywords

SQLPythonETLPostgreSQLAPIGCPBig DataCRM

Wymagania

  • Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
  • Bardzo dobra znajomość Python oraz SQL
  • Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)
  • Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
  • Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
  • Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
  • Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
  • Doświadczenie w integracji z API
  • Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
  • Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data

Mile widziane:

  • Doświadczenie w projektach wykorzystujących LLM (np. RAG)
  • Znajomość narzędzi do orkiestracji danych (np. Airflow)
  • Współpraca z zespołami ML / AI
  • Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)

Obowiązki

  • Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
  • Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
  • Modelowanie danych i projektowanie struktur bazodanowych
  • Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
  • Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
  • Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
  • Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
  • Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
  • Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa

Inne informacje

Informujemy, że administratorem danych jest Soflab Technology Sp. z o.o. z siedzibą w Katowicach, 40-568, ul. Ligocka 103 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

SOFLAB TECHNOLOGY

SOFLAB TECHNOLOGY

50 aktywnych ofert

Zobacz wszystkie oferty
Aplikuj teraz