Data Engineer (K/M)
Tech Stack / Keywords
Wymagania
- Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
- Bardzo dobra znajomość Python oraz SQL
- Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)
- Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
- Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
- Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
- Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
- Doświadczenie w integracji z API
- Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
- Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data
Mile widziane:
- Doświadczenie w projektach wykorzystujących LLM (np. RAG)
- Znajomość narzędzi do orkiestracji danych (np. Airflow)
- Współpraca z zespołami ML / AI
- Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)
Obowiązki
- Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
- Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
- Modelowanie danych i projektowanie struktur bazodanowych
- Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
- Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
- Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
- Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
- Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
- Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa
Inne informacje
Informujemy, że administratorem danych jest Soflab Technology Sp. z o.o. z siedzibą w Katowicach, 40-568, ul. Ligocka 103 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
SOFLAB TECHNOLOGY
50 aktywnych ofert