Senior GenAI / LLMOps Engineer

Nasz Klient to duża organizacja rozwijająca rozwiązania z obszaru sztucznej inteligencji oraz budująca standardy bezpiecznego i skalowalnego wykorzystania Generative AI (GenAI) w środowisku enterprise.

Must have:

• Praktyczne doświadczenie z Generative AI / LLM oraz udział w budowie rozwiązań wykorzystujących modele językowe
• Bardzo dobra znajomość integracji z modelami LLM poprzez API i architektury rozwiązań GenAI w środowiskach enterprise
• Doświadczenie lub znajomość obszaru LLMOps / GenAIOps, zarządzania, monitoringu i udostępniania modeli
• Znajomość mechanizmów API Gateway, uwierzytelniania, zarządzania dostępem, routingu, logowania, monitoringu i observability
• Znajomość ekosystemu modeli LLM, w tym OpenAI, Anthropic, Google oraz modeli open-source
• Znajomość SQL, doświadczenie w realizacji technicznych analiz, eksperymentów i Proof of Concept

Nice to have:

• Doświadczenie z rozwiązaniami LiteLLM, AI Gateway, model router lub proxy dla modeli LLM
• Doświadczenie z Azure OpenAI, Google Vertex AI, Anthropic lub hostowaniem modeli open-source / on-premise
• Znajomość Snowflake oraz platform danych i hurtowni danych
• Znajomość Kubernetes, konteneryzacji, CI/CD oraz środowisk chmurowych
• Doświadczenie z observability, FinOps lub optymalizacją kosztów usług AI/cloud
• Znajomość RAG (Retrieval-Augmented Generation), agentów AI i narzędzi developerskich wykorzystujących LLM

• Projektowanie i rozwój bezpiecznej warstwy dostępu do modeli LLM, w tym rozwiązań klasy LLM Gateway / API Gateway
• Rozwój integracji API z modelami LLM, obejmujących uwierzytelnianie, autoryzację, routing, limitowanie dostępu i kontrolę wykorzystania
• Budowa mechanizmów observability dla środowiska GenAI, w tym centralne logowanie i monitoring modeli, aplikacji, tokenów, błędów i kosztów
• Testowanie i ocena modeli LLM, sposobów hostowania oraz technologii GenAI pod kątem jakości, bezpieczeństwa, wydajności, integracji i kosztów
• Realizacja technicznych Proof of Concept oraz analiz nowych modeli, narzędzi i możliwości GenAI
• Współpraca z zespołami DevOps, Cloud, Security, Data i Architecture przy implementacji zasad AI Governance i bezpieczeństwa