Compartición de GPU con memoria reforzada en Kubernetes con NVIDIA CUDA 13.4
Según NVIDIA Developer. NVIDIA presenta CUDA 13.4 junto con un operador de fraccionamiento de GPU de código abierto para aplicar límites de memoria por carga de trabajo.
- • CUDA 13.4 ofrece cumplimiento de límites de memoria transparente para las aplicaciones.
- • El operador de fraccionamiento de GPU de código abierto supervisa el servicio de múltiples procesos.
- • KAI Scheduler v0.18.0 se integra mediante su modo de compartición NvFractions.
Reforzamiento de memoria en CUDA 13.4
CUDA 13.4 introduce el cumplimiento de los límites de memoria de forma transparente para las aplicaciones, ofreciendo cantidades exactas de memoria, mínimos garantizados con máximos de ráfaga y opciones entre los modos de cálculo de tiempo compartidos y sm-sharing.
Operador de Fraccionamiento de GPU
Un nuevo operador de Kubernetes de código abierto se aloja bajo la organización KAI Scheduler en GitHub. Funciona junto con NVIDIA GPU Operator para configurar y ejecutar MPS en cada nodo de GPU y aplicar límites de memoria por carga de trabajo.
Integración con KAI Scheduler
A partir de la versión v0.18.0, KAI Scheduler incluye un modo de compartición de GPU llamado NvFractions. El programador elige qué porción de GPU recibe cada carga de trabajo y escribe anotaciones en los Pods que el operador aplica en el nodo.
- 1. developer.nvidia.comAbrir fuente