Un módulo de cómputo listo para integrar, con latencia, consumo y costo conocidos para la inferencia en el dispositivo.
Un system-on-module y una placa portadora diseñados para que los equipos de producto añadan inferencia en el dispositivo sin reconstruir su plataforma de cómputo. El módulo se entrega con cifras caracterizadas: latencia, rendimiento sostenido, memoria máxima y comportamiento térmico bajo carga.
Cada cliente llegaba con un modelo ya elegido y un presupuesto de energía ya prometido. Rara vez encajaban, y el desajuste se descubría durante la integración en lugar de durante la arquitectura.
Invertimos el orden. Primero se somete la carga de trabajo a benchmarking sobre el silicio candidato y solo después se especifica el módulo. La cuantización se ejecuta contra un conjunto de evaluación fijo con umbrales de precisión en cada paso de conversión, de modo que una regresión se ve en el momento en que aparece.
Un SoM con una NPU dimensionada a la carga medida, sobre una placa portadora que expone cámara, audio, Ethernet y PCIe.
Un pipeline de conversión y despliegue con un mapa de cobertura de operadores, para que las capas no soportadas aparezcan durante el benchmarking y no en la integración.
Un BSP de Linux con el runtime NPU del fabricante, un servicio de inferencia detrás de una API local estable y un canal de actualización de modelos independiente del firmware.
Hardware
IA
Embebido
Nube