Nowa
Data Engineer (GenAI, Databricks)
Brak informacji o wynagrodzeniu
SeniorFull-time
#353584·Dodano dziś·0
Źródło: LinkGroupTech Stack / Keywords
GenAIDatabricksETLAzureAILLMData ScienceMachine Learning
Wymagania
- Minimum 6 lat doświadczenia na stanowisku Data Engineera.
- Bardzo dobra, praktyczna znajomość platformy Databricks (PySpark, SQL).
- Doświadczenie w pracy z chmurą Azure i jej komponentami (np. Azure Data Factory, ADLS Gen2, Azure Synapse).
- Znajomość specyfiki inżynierii danych pod kątem rozwiązań Gen AI (mile widziana znajomość baz wektorowych oraz frameworków takich jak LangChain lub LlamaIndex).
- Biegła znajomość języka Python oraz zaawansowanego SQL.
- Umiejętność analitycznego myślenia oraz samodzielnego rozwiązywania złożonych problemów technicznych.
- Dobra znajomość języka angielskiego w mowie i piśmie.
Obowiązki
- Projektowanie, budowanie oraz optymalizacja skalowalnych potoków danych (ETL/ELT) w środowisku chmurowym Azure.
- Rozwój i utrzymanie nowoczesnej platformy danych z wykorzystaniem Databricks (Lakehouse, Delta Lake).
- Przygotowywanie, czyszczenie i strukturyzowanie danych (strukturalnych i niestrukturalnych) na potrzeby modeli generatywnej sztucznej inteligencji (Gen AI / LLM), w tym systemów RAG oraz procesów fine-tuningu.
- Współpraca z zespołami Data Science, Machine Learning oraz AI Research w celu produkcyjnego wdrażania rozwiązań opartych na sztucznej inteligencji.
- Zapewnienie wysokiej jakości, integralności oraz bezpieczeństwa przetwarzanych danych.
linkgroup
435 aktywnych ofert