ハードウェア
6 TOPSのNPUを内蔵するクアッドコアSoC、MIPI CSI-2のカメラ入力、そしてインピーダンス制御したカメラインターフェースを持つ6層基板。
- NPUとISPを内蔵したSoC
- MIPI CSI-2接続のグローバルシャッターセンサー
- 6層PCB、EMCプリコンプライアンスを一発で通過
- ファンレスのパッシブ放熱設計
プロジェクト概要
映像を部屋の外に出せない環境のための、手のひらサイズのビジョンデバイス。検出、トラッキング、イベント分類はすべてNPU上でローカルに動き、クラウドへ届くのは構造化されたイベントだけです。
課題
4W以下で複数ストリームの連続推論を行い、プライバシー上の理由から映像を一切外部に出さず、しかもコンシューマー価格に耐えるBOMに収める必要がありました。
解決策
量子化した検出バックボーンと軽量なトラッカーを組み合わせ、重いモデルは間引いて動かし、推論と推論の間はトラッキングが同一性を保持する構成にしました。力任せでは届かないハードウェアで、安定した30 fpsのパイプラインを実現しています。
アーキテクチャ
AI
NPUに実装したINT8の検出モデルに、カルマンフィルタベースのトラッカーと、イベント判定用の小型な時系列分類器を組み合わせました。
- チャネルごとのキャリブレーションを伴うINT8量子化
- FP32ベースラインとの精度差は1.4%以内
- 640×640で推論レイテンシ18 ms
- イベント分類器はCPU上で2 ms未満
ソフトウェア
Yoctoでビルドした組込みLinuxイメージ、GStreamerベースのキャプチャパイプライン、そして設定とイベント確認のためのWebコンソール。
- A/B OTAとロールバックに対応したYoctoイメージ
- ISPからNPUまでゼロコピーのバッファ
- ローカルのイベント保存とクラウド同期
- ゾーン、ルール、レビューのためのWebコンソール
成果
- 3.8Wの枠内で30 fpsの連続推論を維持
- 生映像は端末外に出さず、構造化イベントのみを送信
- コールドブートから初回推論まで12秒未満
- 稼働中のフリートを段階的なOTAで更新
技術スタック
ハードウェア
SoC + NPUMIPI CSI-26-layer PCB
AI
ONNXINT8 QuantizationTracking
組込み
Embedded LinuxYoctoGStreamerOTA
クラウド
MQTTEvent APIFleet Console