硬件
NPU 算力按实测负载选型的 SoM，载板引出摄像头、音频、以太网与 PCIe。
- 同一封装尺寸可选 2 到 20 TOPS 的 NPU
- 拉丝铝散热体，实测可支撑 15 W
- 模组边缘做半孔，便于批量集成
- 载板引出 MIPI、I²S、GbE 与 PCIe
项目概览
一套核心板与载板，让产品团队不必重建算力平台就能加上端侧推理。模组交付时附带实测数据：延迟、持续吞吐、峰值内存，以及负载下的热行为。
挑战
每个客户来的时候，模型已经选好，功耗预算也已经承诺出去。两者很少对得上，而错配往往在集成阶段、而不是架构阶段才被发现。
方案
我们把顺序倒过来：先把负载在候选芯片上跑一遍基准，再来定义模组。量化针对固定评测集进行，每一步转换都设精度门限，出现退化立刻可见。
架构
AI
一条带算子覆盖表的转换与部署链路，让不支持的层在基准测试阶段就暴露，而不是等到集成时。
- INT8 与 INT4 量化，逐通道校准
- 在锁定芯片之前先产出算子覆盖表
- 峰值负载下的图融合与内存上限分析
- 目标板上的持续回归基准测试
软件
集成了原厂 NPU 运行时的 Linux BSP、一个稳定本地 API 背后的推理服务，以及与固件解耦的模型更新通道。
- Linux BSP 已集成原厂 NPU 运行时
- 本地推理 API 与集成商 SDK
- 模型通道独立于固件发布
- 健康、温度与性能遥测
结果
- 每种配置都公布延迟、功耗与内存数据
- 模型更新不需要发布固件
- 第二颗候选芯片持续跟测，对冲供应风险
- 集成方几天就能跑通推理，而不是几个月
技术栈
硬件
SoM + CarrierLPDDR5PCIe
AI
ONNXTensorRTRKNNINT4 / INT8
嵌入式
Linux BSPNPU RuntimeModel Channel
云端
Model RegistryFleet Telemetry