Zum Inhalt springen
MACT.ai
Alle Projekte

AI-Vision-Gerät

Ein kompaktes Vision-Modul, das Detektion und Tracking vollständig auf dem Gerät ausführt.

2025Edge AI · Computer Vision · Embedded Linux
AI-Vision-Gerät

Projektübersicht

Ein handflächengroßes Vision-Gerät für Umgebungen, in denen Video den Raum nicht verlassen darf. Detektion, Tracking und Ereignisklassifikation laufen lokal auf einer NPU, und nur strukturierte Ereignisse erreichen die Cloud.

Herausforderung

Das Produkt brauchte durchgehende Inferenz über mehrere Streams unter 4 W, ohne Videoabfluss aus Datenschutzgründen, und eine Stückliste, die einen Consumer-Preis übersteht.

Lösung

Wir haben ein quantisiertes Detektions-Backbone mit einem leichtgewichtigen Tracker kombiniert: Das schwere Modell läuft in reduzierter Kadenz, während das Tracking die Identität zwischen den Inferenzen hält. Ergebnis ist eine stabile 30-fps-Pipeline auf Hardware, die das mit reiner Rechenleistung nie geschafft hätte.

Architektur

01

Hardware

Ein Quad-Core-SoC mit integrierter 6-TOPS-NPU, Kameraeingang über MIPI CSI-2 und eine 6-Lagen-Platine mit impedanzkontrollierter Kameraschnittstelle.

  • SoC mit integrierter NPU und ISP
  • Global-Shutter-Sensor an MIPI CSI-2
  • 6-Lagen-PCB, EMC-Vorprüfung im ersten Durchlauf bestanden
  • Passive Kühlung, kein Lüfter
02

AI

Ein INT8-Detektionsmodell auf der NPU, mit einem Kalman-basierten Tracker und einem kleinen temporalen Klassifikator für die Ereignislogik.

  • INT8-Quantisierung mit kanalweiser Kalibrierung
  • Genauigkeit innerhalb von 1,4 % der FP32-Baseline
  • 18 ms Inferenzlatenz bei 640×640
  • Ereignisklassifikator läuft auf der CPU in unter 2 ms
03

Software

Ein Embedded-Linux-Image, gebaut mit Yocto, eine GStreamer-basierte Capture-Pipeline und eine Web-Konsole für Konfiguration und Live-Auswertung.

  • Yocto-Image mit A/B-OTA und Rollback
  • Zero-Copy-Puffer vom ISP zur NPU
  • Lokaler Ereignisspeicher mit Cloud-Sync
  • Web-Konsole für Zonen, Regeln und Auswertung

Ergebnis

  • 30 fps dauerhafte Inferenz innerhalb von 3,8 W
  • Kein Rohvideo verlässt das Gerät — nur strukturierte Ereignisse
  • Unter 12 s vom Kaltstart bis zur ersten Inferenz
  • Feldflotte per OTA mit stufenweisem Rollout aktualisiert

Technologie-Stack

Hardware

SoC + NPUMIPI CSI-26-layer PCB

AI

ONNXINT8 QuantizationTracking

Embedded

Embedded LinuxYoctoGStreamerOTA

Cloud

MQTTEvent APIFleet Console