Seonglae Choaws
By default, GPU dose not support resource isolation while multiple containers share one GPU
Nvidia provides the Multi-Process Service (MPS) implementation for the CUDA-compatible API to improve the resource utilization for applications running in parallel. They recently added a new QoS feature in MPS that allows programmers to specify an upper limit on the number of GPU threads available for each application to limit available compute bandwidth on a per-application basis
Virtual GPU device plugin for inference workloads in Kubernetes | Amazon Web Services
Machine learning (ML) has become a centerpiece for enterprise transformation. AWS provides a broad and deep set of ML capabilities for builders with all levels of expertise. Developers with no prior ML experience can seamlessly build sophisticated AI-driven applications using AWS AI services. Developers and data scientists can use Amazon SageMaker, a managed machine learning [...]
https://aws.amazon.com/blogs/opensource/virtual-gpu-device-plugin-for-inference-workload-in-kubernetes/
nvidia
ypervisor based vgpu
모바일 및 사무실 작업자를 위한 가상 데스크톱 가속화 | NVIDIA 가상 GPU 솔루션
NVIDIA 가상 GPU 기반 VDI 환경에서 NVIDIA 가상 GPU 소프트웨어는 하이퍼바이저와 함께 가상화 계층에 설치됩니다. NVIDIA 가상 GPU 소프트웨어는 모든 가상 머신(VM)이 서버에 설치된 물리적 GPU를 공유할 수 있게 하는 가상 GPU를 만들거나 여러 GPU를 단일 가상 머신에 할당하여 가장 까다로운 워크로드를 지원합니다. NVIDIA 가상화 소프트웨어에는 모든 VM용 드라이버가 포함됩니다.
https://www.nvidia.com/ko-kr/data-center/virtual-gpu-technology/
