Un altavoz ESP32 de bajo costo con palabra de activación en el dispositivo y conversación en la nube.
Un producto de voz construido sobre un MCU deliberadamente económico. La detección de la palabra de activación y el procesamiento del front end de audio se ejecutan localmente; el reconocimiento de voz en streaming, el modelo de lenguaje y la síntesis de voz corren detrás de una pasarela de IA.
La latencia conversacional tenía que sentirse inmediata en un chip con unos pocos cientos de kilobytes de RAM utilizable, sobre Wi-Fi doméstico y sin un costo por unidad que rompiera el producto.
Transmitimos audio en ambas direcciones y arrancamos la reproducción con el primer fragmento sintetizado en lugar de esperar la respuesta completa. La palabra de activación local y la cancelación de eco mantuvieron la radio en silencio hasta que hacía falta.
Un ESP32-S3 con un array de dos micrófonos, códec I2S y amplificador en una placa compacta de 4 capas.
Palabra de activación y detección de actividad de voz en el dispositivo, con ASR en streaming, un LLM y TTS a través de una pasarela.
Firmware ESP-IDF con un protocolo de sesión sobre WebSocket, flujo de aprovisionamiento y OTA, detrás de un servicio de sesiones sin estado.
Hardware
IA
Embebido
Nube