ハードウェア
実測したワークロードに合わせてNPUを選定したSoMと、カメラ、オーディオ、Ethernet、PCIeを引き出すキャリアボード。
- 同一フットプリントで2〜20 TOPSのNPUを選択可能
- 15 Wまで特性を取得したアルミ削り出しのヒートスプレッダ
- 量産統合を見据えたキャステレーション端面
- キャリアボードはMIPI、I²S、GbE、PCIeを提供
プロジェクト概要
製品チームが自社の演算プラットフォームを作り直すことなく端末側の推論を追加できるよう設計した、SoMとキャリアボードです。モジュールにはレイテンシ、持続スループット、ピークメモリ、負荷時の熱挙動という実測値が付いてきます。
課題
どの顧客も、モデルはすでに決まり、電力バジェットもすでに約束された状態でやって来ます。その2つが噛み合うことは稀で、しかも不一致はアーキテクチャ検討ではなく統合の段階で発覚するのが常でした。
解決策
順序を逆にしました。まず候補となるシリコン上でワークロードをベンチマークし、そのうえでモジュールを仕様化します。量子化は固定の評価セットに対して実行し、変換の各段階に精度のゲートを置くため、劣化は現れた瞬間に見えます。
アーキテクチャ
AI
オペレータ対応表を伴う変換・実装パイプライン。非対応レイヤーは統合時ではなくベンチマーク時に表面化します。
- チャネルごとのキャリブレーションを伴うINT8・INT4量子化
- シリコン確定の前に作成するオペレータ対応表
- ピーク負荷時のグラフ融合とメモリ上限のプロファイリング
- 実機上での継続的なリグレッションベンチマーク
ソフトウェア
ベンダーのNPUランタイムを組み込んだLinux BSP、安定したローカルAPIの背後にある推論サービス、そしてファームウェアから独立したモデル更新チャネル。
- ベンダーNPUランタイムを統合したLinux BSP
- ローカル推論APIとインテグレータ向けSDK
- ファームウェアのリリースと分離したモデル配信チャネル
- 稼働状態、温度、性能のテレメトリ
成果
- 構成ごとにレイテンシ、消費電力、メモリの数値を公開
- ファームウェアをリリースせずにモデルを更新
- 供給リスクに備え、第二のシリコン候補も継続的にベンチマーク
- インテグレータは数か月ではなく数日で推論を動かせる
技術スタック
ハードウェア
SoM + CarrierLPDDR5PCIe
AI
ONNXTensorRTRKNNINT4 / INT8
組込み
Linux BSPNPU RuntimeModel Channel
クラウド
Model RegistryFleet Telemetry