Firma i stanowisko
DCG is a recruitment company engaged in recruiting experienced professionals and supporting ongoing recruitment projects for its partners.
Wymagania
- 5+ years of experience in DevOps, Site Reliability Engineering (SRE), Platform Engineering, or Infrastructure Operations
- At least 2 years of hands-on experience supporting MLOps, AI Infrastructure, or Large Language Model (LLM) platforms
- Strong experience with Kubernetes and OpenShift administration in production
- Proven experience deploying and operating vLLM-based inference platforms in production
- Strong understanding of LLM serving concepts including Paged Attention, continuous batching, inference optimization
- Deep knowledge of NVIDIA GPU technologies, CUDA drivers, NVIDIA Container Toolkit, and GPU troubleshooting
- Hands-on experience with Prometheus, Grafana, OpenTelemetry, and ELK Stack
- Experience building observability solutions including custom metrics, exporters, dashboards, alerting
- Strong Python programming skills for automation and operational tooling
- Experience with Bash scripting and Linux systems administration
- Familiarity with GitLab CI, Jenkins, ArgoCD, and Infrastructure-as-Code practices
- Strong analytical and problem-solving skills in complex distributed environments
- Excellent communication and collaboration skills
Obowiązki
- Design, deploy, and maintain vLLM inference services on OpenShift/Kubernetes running on bare-metal GPU infrastructure
- Manage NVIDIA GPU resources including partitioning and allocation across multiple models and tenants
- Automate model lifecycle management including onboarding, versioning, deployment, hot-swapping, and rollback from private registries like Hugging Face Enterprise and S3
- Implement and manage Horizontal Pod Autoscaling (HPA) based on workload, queue depth, and GPU utilization
- Optimize vLLM configurations and serving parameters for performance, throughput, and resource efficiency
- Build and maintain observability and monitoring solutions including metrics collection, logging, and tracing
- Instrument vLLM endpoints to expose metrics related to token consumption, latency, throughput, and errors
- Develop usage tracking mechanisms for token consumption by API key, user, team, supporting quota and chargeback management
- Create and maintain Grafana dashboards for infrastructure health, GPU utilization, inference performance, and business metrics
- Configure proactive monitoring and alerting with Prometheus and Alertmanager
- Implement and maintain API Gateway solutions for authentication, authorization, rate limiting, and routing
- Ensure secure operation of AI services through network segmentation and ingress/egress controls
- Maintain audit logging for compliance and operational governance
- Collaborate with AI Engineering, Platform Engineering, Security, and Infrastructure teams
- Participate in troubleshooting, incident response, root cause analysis, and continuous platform improvement
Benefity
- Private medical care
- Co-financing for sports card
- Training and learning opportunities
- Constant support of a dedicated consultant
- Employee referral program
Inne informacje
Informujemy, że administratorem danych jest DCG ul. Towarowa 28 00-839 Warszawa(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
DCG
363 aktywne oferty