Xây dựng Runtime Kubernetes được xác thực cho NVIDIA Dynamo
Theo công bố của NVIDIA Developer. NVIDIA giới thiệu AI Cluster Runtime (AICR) nhằm gói gọn NVIDIA Dynamo cùng hạ tầng hỗ trợ thành các công thức được xác thực.
- • NVIDIA giới thiệu AI Cluster Runtime (AICR) để đóng gói hạ tầng hỗ trợ.
- • Dynamo 1.4.2 sử dụng TCP cho mặt phẳng yêu cầu và ZMQ cho sự kiện bộ nhớ đệm KV.
- • AICR tách biệt thiết lập runtime khỏi việc triển khai ứng dụng bằng quy trình năm bước.
- • Đường dẫn mặc định của AICR trên Kubernetes không còn sử dụng NATS.
Giới thiệu AICR và Dynamo
Nền tảng NVIDIA DSX AI Factory mang lại các công nghệ giúp hệ sinh thái thiết kế, xây dựng và vận hành các nhà máy AI hiệu quả hơn, trong đó có NVIDIA Dynamo. Để quản lý các phụ thuộc hạ tầng dễ dàng hơn, nền tảng tích hợp NVIDIA AI Cluster Runtime (AICR). Công cụ này đóng gói NVIDIA Dynamo và hạ tầng hỗ trợ thành các công thức được xác thực với các phiên bản thành phần được ghim.
Định tuyến và Sự kiện KV-cache
Dynamo 1.4.2 sử dụng TCP cho mặt phẳng yêu cầu và ZMQ cho các sự kiện bộ nhớ đệm KV-cache, cho phép cả bộ định tuyến Dynamo Frontend nguyên bản lẫn đường dẫn GAIE/EPP đưa ra quyết định định tuyến nhận biết bộ nhớ đệm. Mỗi công cụ worker vLLM phát ra các sự kiện KV-cache thô thông qua một nhà xuất bản ZMQ cục bộ.
- 1. developer.nvidia.comMở nguồn