Ein Drop-in-Compute-Modul mit bekannter Latenz, Leistung und Kosten für Inferenz auf dem Gerät.
Ein System-on-Module mit Carrier-Board, damit Produktteams Inferenz auf dem Gerät ergänzen können, ohne ihre Compute-Plattform neu zu bauen. Das Modul kommt mit charakterisierten Zahlen: Latenz, Dauerdurchsatz, Spitzenspeicher und thermisches Verhalten unter Last.
Jeder Kunde kam mit einem bereits gewählten Modell und einem bereits zugesagten Energiebudget. Beides passte selten zusammen, und der Widerspruch fiel meist bei der Integration auf, nicht in der Architektur.
Wir haben die Reihenfolge umgedreht. Zuerst wird die Last auf den Silizium-Kandidaten gemessen, erst danach das Modul spezifiziert. Die Quantisierung läuft gegen ein festes Evaluationsset mit Genauigkeitsgrenzen an jedem Konvertierungsschritt, damit eine Regression sichtbar wird, sobald sie entsteht.
Ein SoM mit einer NPU, dimensioniert auf die gemessene Last, auf einem Carrier-Board mit Kamera, Audio, Ethernet und PCIe.
Eine Konvertierungs- und Deployment-Pipeline mit Operator-Abdeckungskarte, damit nicht unterstützte Layer im Benchmark auffallen statt in der Integration.
Ein Linux-BSP mit der NPU-Runtime des Herstellers, ein Inferenzdienst hinter einer stabilen lokalen API und ein Modellkanal unabhängig von der Firmware.
Hardware
AI
Embedded
Cloud