AWS ra mắt giải pháp giảm độ trễ cho tác nhân giọng nói AI với Kokoro TTS
Theo công bố của AWS. Tối ưu hóa trải nghiệm người dùng bằng cách phát âm thanh ngay khi câu văn được tạo ra thay vì chờ đợi toàn bộ phản hồi.
- • Sử dụng mô hình Kokoro-82M để tổng hợp giọng nói theo thời gian thực.
- • Giảm độ trễ bằng cách truyền phát từng câu thay vì đợi toàn bộ đoạn văn.
- • Triển khai trên Amazon SageMaker AI bằng các container tùy chỉnh.
- • Hỗ trợ kết nối WebSocket hai chiều để duy trì phiên làm việc liên tục.
Giải pháp giảm độ trễ
AWS giới thiệu phương pháp mới giúp khắc phục tình trạng người dùng phải chờ đợi lâu khi tương tác với các tác nhân giọng nói AI. Bằng cách truyền phát từng câu văn đến mô hình Kokoro-82M ngay khi tác nhân tạo ra chúng, hệ thống có thể bắt đầu tổng hợp âm thanh trước khi toàn bộ phản hồi hoàn tất, giúp rút ngắn đáng kể thời gian phản hồi thực tế.
Triển khai kỹ thuật
Giải pháp này sử dụng mô hình Kokoro-82M với 82 triệu tham số, được tối ưu hóa để chạy trên các instance GPU tầm trung như ml.g5.xlarge. AWS cung cấp hướng dẫn chi tiết về việc thiết lập các endpoint SageMaker AI hỗ trợ truyền phát hai chiều, giúp duy trì phiên kết nối liên tục giữa client và mô hình để tối ưu hóa hiệu suất.
- 1. aws.amazon.comMở nguồn