Zum Inhalt springen
MACT.ai
Alle Projekte

AI-Sprachgerät

Ein günstiger ESP32-Lautsprecher mit Wake Word auf dem Gerät und Konversation in der Cloud.

2026ESP32 · Voice AI · Cloud
AI-Sprachgerät

Projektübersicht

Ein Sprachprodukt auf einem bewusst günstigen MCU. Wake-Word-Erkennung und Audio-Frontend laufen lokal; Streaming-Spracherkennung, Sprachmodell und Sprachsynthese laufen hinter einem AI-Gateway.

Herausforderung

Die Konversation musste unmittelbar wirken — auf einem Baustein mit einigen Hundert Kilobyte nutzbarem RAM, über Consumer-Wi-Fi, ohne Stückkosten, die das Produkt sprengen.

Lösung

Wir haben Audio in beide Richtungen gestreamt und die Wiedergabe beim ersten synthetisierten Chunk gestartet, statt auf die vollständige Antwort zu warten. Lokales Wake Word und Echounterdrückung hielten das Funkmodul still, bis es gebraucht wurde.

Architektur

01

Hardware

Ein ESP32-S3 mit Zwei-Mikrofon-Array, I2S-Codec und Verstärker auf einer kompakten 4-Lagen-Platine.

  • Zwei-Mikrofon-Array mit Beamforming-Frontend
  • I2S-Codec und Class-D-Verstärker
  • 4-Lagen-Platine mit konsequenter Antennen-Freihaltezone
  • USB-C-Versorgung, optional mit Akku
02

AI

Wake Word und Sprachaktivitätserkennung auf dem Gerät, mit Streaming-ASR, einem LLM und TTS über ein Gateway.

  • Wake Word in unter 100 kB RAM
  • Akustische Echounterdrückung und Rauschminderung
  • Streaming-ASR mit Teilhypothesen
  • Erstes Audio nach rund 700 ms
03

Software

ESP-IDF-Firmware mit WebSocket-Session-Protokoll, Provisionierungs-Flow und OTA, hinter einem zustandslosen Session-Service.

  • Bidirektionales Audio über einen einzigen WebSocket
  • Opus-Kodierung passend zu Consumer-Uplinks
  • BLE-Provisionierung mit Captive-Fallback
  • Signiertes OTA mit stufenweisem Rollout

Ergebnis

  • Rund 700 ms bis zum ersten gesprochenen Audio
  • Wake Word innerhalb des MCU-Speicherbudgets
  • Modellanbieter austauschbar ohne Firmware-Release
  • Stückliste im Zielpreis gehalten

Technologie-Stack

Hardware

ESP32-S3Mic ArrayI2S Audio

AI

Wake WordStreaming ASRLLMTTS

Embedded

ESP-IDFOpusWebSocketOTA

Cloud

AI GatewaySession Service