Ir al contenido
MACT.ai
Todos los proyectos

Dispositivo de visión con IA

Un módulo de visión compacto que ejecuta detección y tracking íntegramente en el dispositivo.

2025Edge AI · Visión por computadora · Linux embebido
Dispositivo de visión con IA

Resumen del proyecto

Un dispositivo de visión del tamaño de la mano para entornos donde el video no puede salir de la sala. La detección, el tracking y la clasificación de eventos se ejecutan localmente en una NPU, y solo los eventos estructurados llegan a la nube.

Reto

El producto necesitaba inferencia continua multiflujo por debajo de 4 W, sin salida de video por motivos de privacidad, y una lista de materiales que sobreviviera a un precio de consumo.

Solución

Combinamos un backbone de detección cuantizado con un tracker ligero, de modo que el modelo pesado se ejecuta con menor cadencia mientras el tracking mantiene la identidad entre inferencias. El resultado es un pipeline estable a 30 fps sobre hardware que no podía resolverlo por fuerza bruta.

Arquitectura

01

Hardware

Un SoC de cuatro núcleos con NPU integrada de 6 TOPS, entrada de cámara MIPI CSI-2 y una placa de 6 capas con interfaz de cámara de impedancia controlada.

  • SoC con NPU e ISP integrados
  • Sensor de obturador global sobre MIPI CSI-2
  • PCB de 6 capas, preconformidad EMC superada a la primera
  • Diseño térmico pasivo, sin ventilador
02

IA

Un modelo de detección INT8 desplegado en la NPU, con un tracker basado en Kalman y un clasificador temporal ligero para la lógica de eventos.

  • Cuantización INT8 con calibración por canal
  • Precisión mantenida dentro del 1,4 % de la referencia FP32
  • 18 ms de latencia de inferencia a 640×640
  • El clasificador de eventos corre en CPU en menos de 2 ms
03

Software

Una imagen de Linux embebido construida con Yocto, un pipeline de captura basado en GStreamer y una consola web para configuración y revisión de eventos en vivo.

  • Imagen Yocto con OTA A/B y reversión
  • Búferes zero-copy del ISP a la NPU
  • Almacén local de eventos con sincronización en la nube
  • Consola web para zonas, reglas y revisión

Resultado

  • Inferencia sostenida a 30 fps dentro de una envolvente de 3,8 W
  • Ningún video en bruto sale del dispositivo: solo eventos estructurados
  • Menos de 12 s de arranque en frío hasta la primera inferencia
  • Flota en campo actualizada por aire con despliegue por fases

Stack tecnológico

Hardware

SoC + NPUMIPI CSI-26-layer PCB

IA

ONNXINT8 QuantizationTracking

Embebido

Embedded LinuxYoctoGStreamerOTA

Nube

MQTTEvent APIFleet Console