3 Cách Cải Thiện Hiệu Suất Suy Luận MoE Trên NVIDIA DGX Spark
Theo công bố của NVIDIA Developer. Khám phá ba kỹ thuật tối ưu hóa giúp tăng tốc độ suy luận mô hình hỗn hợp chuyên gia Ling-3.0-flash trên nền tảng phần cứng NVIDIA DGX Spark.
- • Thay thế backend MoE FlashInfer MXFP4 bằng thư viện kernel Humming giúp cải thiện 9.3% thông lượng.
- • Áp dụng lượng tử hóa FP8 trực tuyến cho lớp LM head làm giảm một nửa thể tích đọc trọng số.
- • Giải mã suy đoán MTP sử dụng lớp NEXTN tích hợp giúp đạt trung bình 3.90 token được chấp nhận mỗi vòng.
- • Ba biện pháp tối ưu hóa kết hợp làm tăng 42.5% thông lượng giải mã và giảm 24.5% độ trễ trung bình trên bộ kiểm thử GSM8K.
Tổng quan
Ling-3.0-flash là một mô hình hỗn hợp chuyên gia gồm 124 tỷ tham số với 5.1 tỷ tham số hoạt động mỗi token, được đánh giá trên NVIDIA DGX Spark ở kích thước lô 1. Quá trình lập hồ sơ cho thấy quá trình giải mã bị giới hạn bởi bộ nhớ, với tính toán MoE và phép chiếu lớp đầu ra thúc đẩy thời gian thực thi.
Tối ưu hóa Kernel Humming và LM Head
Việc thay thế backend FlashInfer MXFP4 MoE bằng thư viện kernel Humming đã làm giảm thời gian cho mỗi token đầu ra từ 27.71 ms xuống 25.35 ms, mang lại mức tăng thông lượng 9.3%. Lượng tử hóa FP8 trực tuyến của lớp LM head đã cắt giảm một nửa thể tích đọc trọng số của nó, và khi kết hợp với Humming, đã cải thiện thông lượng giải mã 21.7% so với mức cơ sở.
Giải mã suy đoán MTP
Giải mã suy đoán dự đoán đa token sử dụng lớp NEXTN tích hợp sẵn của mô hình đã đạt 3.90 token được chấp nhận mỗi vòng trên một khối lượng công việc tổng hợp, nâng thông lượng lên 185.1% so với mức cơ sở. Trên toàn bộ tập kiểm tra GSM8K, cả ba tối ưu hóa kết hợp đã tăng thông lượng giải mã 42.5% và giảm 24.5% độ trễ trung bình mà không có thay đổi độ chính xác nào có thể phát hiện được về mặt thống kê.
- 1. developer.nvidia.comMở nguồn