AWS presenta streaming de voz de baja latencia para agentes de IA con Kokoro TTS
Según AWS. Una nueva integración permite la síntesis de audio en tiempo real mediante la transmisión de oraciones individuales a través de Amazon SageMaker AI.
- • Transmisión de oraciones individuales al modelo Kokoro-82M para síntesis inmediata.
- • Uso de conexiones WebSocket bidireccionales para mantener sesiones persistentes.
- • Despliegue de Kokoro-82M en SageMaker AI para optimizar costos de inferencia.
- • Procesamiento incremental de fragmentos de texto a medida que son generados.
Reducción de la latencia en agentes de voz
AWS ha presentado una solución para reducir los tiempos de espera en agentes de voz de IA, donde los usuarios suelen aguardar a que se genere todo el texto antes de escuchar una respuesta. Al transmitir cada oración al modelo Kokoro-82M a medida que se genera, el sistema permite que la reproducción de audio comience antes de que el agente termine su respuesta completa.
Arquitectura y despliegue
El modelo Kokoro-82M, con 82 millones de parámetros, se ejecuta en endpoints de Amazon SageMaker AI utilizando instancias GPU ml.g5.xlarge. La solución implementa un manejo de sesiones bidireccionales que evita la necesidad de reconexiones frecuentes, permitiendo que múltiples oraciones se procesen de manera secuencial y eficiente dentro de una misma sesión abierta.
- 1. aws.amazon.comAbrir fuente