SOFLAB TECHNOLOGY

Data Engineer (K/M)

Brak informacji o wynagrodzeniu

SeniorOn-site·WarszawaFull-time

#434658·Dodano miesiąc temu·1

Źródło: SOFLAB Technology

Aplikuj teraz

Tech Stack / Keywords

Python SQL PostgreSQL MySQL MS SQL Oracle Airflow AWS GCP Azure

Podsumowanie oferty

The role involves designing, building, and maintaining data pipelines (ETL/ELT) and working with data integration from various sources to ensure quality and consistency. The candidate will model data and design database structures while managing relational and vector databases. Collaboration with AI/ML teams and implementing cloud solutions using AWS, GCP, or Azure are key aspects. Monitoring and optimizing data pipeline performance and enforcing data management best practices is also required.

Wymagania

Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
Bardzo dobra znajomość Python oraz SQL
Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)
Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
Doświadczenie w integracji z API
Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data

Nice to have:

Doświadczenie w projektach wykorzystujących LLM (np. RAG)
Znajomość narzędzi do orkiestracji danych (np. Airflow)
Współpraca z zespołami ML / AI
Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)

Obowiązki

Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
Modelowanie danych i projektowanie struktur bazodanowych
Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa

SOFLAB TECHNOLOGY

23 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz