DCG

AIOps Engineer

Brak informacji o wynagrodzeniu

SeniorZdalnie·WarszawaFull-time·Umowa o pracę

#458184·Dodano 21 dni temu·0

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Kubernetes OpenShift PythonNVIDIA GPULinuxML OPSLLMAI

Podsumowanie oferty

The role involves designing, deploying, and maintaining vLLM inference services on OpenShift/Kubernetes running on bare-metal NVIDIA GPU infrastructure. Responsibilities include managing GPU resources, automating model lifecycle, implementing autoscaling, building observability and monitoring solutions, and collaborating with various engineering teams to ensure reliable and secure AI services.

Wymagania

5+ years of experience in DevOps, Site Reliability Engineering (SRE), Platform Engineering, or Infrastructure Operations
At least 2 years of hands-on experience supporting MLOps, AI Infrastructure, or Large Language Model (LLM) platforms
Strong experience with Kubernetes and OpenShift administration in production
Proven experience deploying and operating vLLM-based inference platforms in production
Strong understanding of LLM serving concepts including Paged Attention, continuous batching, inference optimization
Deep knowledge of NVIDIA GPU technologies, CUDA drivers, NVIDIA Container Toolkit, and GPU troubleshooting
Hands-on experience with Prometheus, Grafana, OpenTelemetry, and ELK Stack
Experience building observability solutions including custom metrics, exporters, dashboards, alerting
Strong Python programming skills for automation and operational tooling
Experience with Bash scripting and Linux systems administration
Familiarity with GitLab CI, Jenkins, ArgoCD, and Infrastructure-as-Code practices
Strong analytical and problem-solving skills in complex distributed environments
Excellent communication and collaboration skills

Obowiązki

Design, deploy, and maintain vLLM inference services on OpenShift/Kubernetes running on bare-metal GPU infrastructure
Manage NVIDIA GPU resources including partitioning and allocation across multiple models and tenants
Automate model lifecycle management including onboarding, versioning, deployment, hot-swapping, and rollback from private registries like Hugging Face Enterprise and S3
Implement and manage Horizontal Pod Autoscaling (HPA) based on workload, queue depth, and GPU utilization
Optimize vLLM configurations and serving parameters for performance, throughput, and resource efficiency
Build and maintain observability and monitoring solutions including metrics collection, logging, and tracing
Instrument vLLM endpoints to expose metrics related to token consumption, latency, throughput, and errors
Develop usage tracking mechanisms for token consumption by API key, user, team, supporting quota and chargeback management
Create and maintain Grafana dashboards for infrastructure health, GPU utilization, inference performance, and business metrics
Configure proactive monitoring and alerting with Prometheus and Alertmanager
Implement and maintain API Gateway solutions for authentication, authorization, rate limiting, and routing
Ensure secure operation of AI services through network segmentation and ingress/egress controls
Maintain audit logging for compliance and operational governance
Collaborate with AI Engineering, Platform Engineering, Security, and Infrastructure teams
Participate in troubleshooting, incident response, root cause analysis, and continuous platform improvement

Benefity

Private medical care
Co-financing for sports card
Training and learning opportunities
Constant support of a dedicated consultant
Employee referral program

Opieka zdrowotna

Karta sportowa

Dofinansowanie szkoleń

Inne informacje

Informujemy, że administratorem danych jest DCG ul. Towarowa 28 00-839 Warszawa(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

DCG

453 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz