ハードウェア
デュアルマイクアレイ、I2Sコーデック、アンプを小型の4層基板に載せたESP32-S3。
- ビームフォーミング前段を備えたデュアルマイクアレイ
- I2SコーデックとクラスDアンプ
- アンテナのキープアウトを徹底した4層基板
- USB-C給電、バッテリー対応オプションあり
プロジェクト概要
あえて安価なMCUの上に構築した音声製品です。ウェイクワード検出とオーディオフロントエンドの処理はローカルで実行し、ストリーミング音声認識、言語モデル、音声合成はAIゲートウェイの背後で動かします。
課題
使えるRAMが数百キロバイトしかない部品と家庭用Wi-Fiという条件で、会話のレイテンシを即応と感じさせ、しかも製品を成立させる単価に収める必要がありました。
解決策
音声を双方向にストリーミングし、応答全体を待たずに最初の合成チャンクで再生を始めました。ローカルのウェイクワードとエコーキャンセルにより、必要になるまで無線は静かなままです。
アーキテクチャ
AI
端末上のウェイクワードと音声区間検出に加え、ゲートウェイ経由のストリーミングASR、LLM、TTS。
- RAM 100 kB未満で動作するウェイクワード
- 音響エコーキャンセルとノイズ抑制
- 途中仮説を返すストリーミングASR
- 最初の音声出力までおよそ700 ms
ソフトウェア
WebSocketのセッションプロトコル、プロビジョニングフロー、OTAを備えたESP-IDFファームウェアと、ステートレスなセッションサービス。
- 単一のWebSocket上で双方向の音声をやり取り
- 家庭用の上り回線に収めるためのOpusエンコード
- BLEプロビジョニングとキャプティブポータルへのフォールバック
- 段階配信に対応した署名付きOTA
成果
- 最初の発話音声までおよそ700 ms
- MCUのメモリ予算内で動くウェイクワード
- ファームウェアを更新せずにモデル提供元を差し替え可能
- BOMを目標価格の中に収めて実現
技術スタック
ハードウェア
ESP32-S3Mic ArrayI2S Audio
AI
Wake WordStreaming ASRLLMTTS
組込み
ESP-IDFOpusWebSocketOTA
クラウド
AI GatewaySession Service