Tăng tốc AI tác nhân với các mô hình NVIDIA Nemotron trên Amazon EKS và SageMaker HyperPod EKS
Theo công bố của AWS. Amazon Web Services giới thiệu khả năng triển khai mô hình đa phương thức NVIDIA Nemotron 3.5 Super VL trên Amazon EKS và SageMaker HyperPod EKS.
- • NVIDIA Nemotron 3.5 Super VL gia nhập danh mục mô hình Nemotron trên AWS.
- • Mô hình có tổng cộng 120 tỷ tham số và kích hoạt 12 tỷ tham số cho mỗi token.
- • Hỗ trợ các tác vụ xử lý văn bản, hình ảnh, tài liệu và video.
- • Có thể triển khai trên Amazon EKS, EKS Auto Mode và SageMaker HyperPod EKS.
Tổng quan về mô hình
NVIDIA Nemotron 3.5 Super VL là một mô hình đa phương thức mở được chưng cất từ Nemotron 3 Ultra, có tổng cộng 120 tỷ tham số và kích hoạt 12 tỷ tham số cho mỗi token. Mô hình sử dụng kiến trúc hỗn hợp Mamba-Transformer MoE, kết hợp các lớp Mamba-2, chú ý và chuyên gia với bộ mã hóa tầm nhìn RADIO để xử lý văn bản, hình ảnh, tài liệu và video.
Triển khai trên hạ tầng AWS
Quá trình triển khai có thể được thực hiện trên Amazon Elastic Kubernetes Service, Amazon EKS Auto Mode và Amazon SageMaker HyperPod EKS. Kiến trúc tham chiếu sử dụng NVIDIA Dynamo và vLLM, đồng thời đã được xác thực trên các phiên bản máy chủ hiệu năng cao của AWS để đảm bảo khả năng mở rộng và hiệu suất tối ưu cho các tác vụ AI.
- 1. aws.amazon.comMở nguồn