SLM推論を高速化するNPUアクセサリーモジュール『RM182XMC0』のご紹介

~海外技術革新を日本の皆さんにお届けします!~

こんにちは。三信電気のオウと申します。

今回はRockchip社のNPUアクセサリーモジュール「RM182XMC0」をご紹介いたします。

RM182XMC0は、

  • ローカル小規模言語モデル(SLM)
  • 長文テキストエンコード
  • エッジAI推論処理

などに適しています。

製品仕様概要、導入メリット、活用シーンなどを含めて説明いたしましたので、是非ご覧ください。


目次

  • ■製品仕様概要
  • ■導入メリット
  • ■主な活用シーン
  • ■まとめ
  • ■末筆

■製品仕様概要

RM182XMC0は、20TOPSの演算性能を持つNPU「RK182X」を搭載しています。

また、NPU内部には2.5GB(型番:RK1820)または5GB(型番:RK1828)の大容量メモリーを内蔵しております。内蔵メモリーとNPUの間の接続は3Dメッシュ構造(立体的に空間がつながった網状構造)を採用、通信スピードはなんと1024GByte/secです。外付けより10倍以上速い。この理由でパラメータ数が7BのSLMが動くことが可能。一秒間100token出力が可能です。

製品ブロック図:

製品形状

ファンレスモデル

  • 型番:RM182XMC0
  • サイズ:22mm × 80mm × 6mm

TOP イメージ

Bottomイメージ

ファン付きモデル

  • 型番:RM182XMC0-F
  • サイズ:25mm × 81mm × 23.05mm

高負荷AI処理時の放熱対策として、ファン付きモデルも用意されています。

TOPイメージ

Bottomイメージ

   

インターフェース

RM182XMC0は、

  • PCIe 2.1
  • USB 3.0

に対応しており、さまざまなCPUプラットフォームへ柔軟に接続可能です。

また、M.2 Key B-M形状を採用しているため、既存システムへ比較的容易に追加できます。


■導入メリット

1. システム負荷低減

CPUのみでAI処理を実行する場合と比較し、NPUモジュールを利用することで、

  • CPU負荷低減
  • システム応答性向上
  • AI推論高速化

が期待できます。


2. 既存プラットフォームへAdd-On可能

PCIe 2.1またはUSB 3.0インターフェースを備えた既存製品へ追加接続可能です。

そのため、

  • CPUボード変更不要
  • システム大幅変更不要

でAI機能を追加できます。


3. 開発期間短縮

モジュール提供のため、

  • 基板再設計不要
  • AI回路設計不要

となり、短期間で製品開発が可能です。


4. 小型実装

ファンレスモデルでは、

22mm × 80mm × 6mm

という小型サイズを実現しています。

そのため、

  • エッジAI機器
  • サイネージ
  • 監視カメラ
  • 産業機器

などへの組み込みに適しています。


5. 高速インターフェース対応

PCIe 2.1 / USB 3.0対応により、高速データ転送が可能です。

映像AIでは大量データ処理が必要となるため、高速接続は重要なポイントです。


6. モデル変換ツール・Model Zoo提供

Rockchip社では、

  • モデル変換ツール
  • Model Zoo

提供しており、AI開発の初期導入ハードル低減が期待できます。


■主な活用シーン

スマート監視カメラ

  • 野生動物検知
  • 不審者検知
  • 不審行動検知

デジタルサイネージ

  • 視聴者属性分析
  • 滞留分析
  • 広告最適化

工場・産業機器

  • 異常検知
  • 作業者監視
  • 安全管理

小売・店舗

  • 来店人数分析
  • 行列検知
  • 顧客動線分析

エッジAI端末

クラウド依存を減らし、ローカルでAI処理を実行可能です。


■まとめ

Rockchip社のRM182XMC0を活用することで、既存システムへ比較的容易にAI機能を追加できます。

特に、

  • エッジAI
  • サイネージ
  • スマート監視
  • 産業AI

分野では、今後さらに需要拡大が期待されます。

また、

  • 小型
  • 高性能
  • Add-On対応
  • 開発期間短縮

という点も大きな魅力です。


■末筆

最後までお読みいただき、ありがとうございました。

弊社では、Rockchip社製品をはじめ、各種AIソリューション、組み込み機器、エッジAI関連製品についてご提案可能です。

もしご興味ございましたら、お気軽にお問い合わせください。

今後も、海外最新技術を日本の皆さまへ分かりやすくお届けしてまいります。