こんにちは。ごんたです🐶
ダルマさんに「つぶやくカメラ」向けの他のＬＬＭを捜索、実装してという指示を受けてサイバーエージェント社がDeepSeek-R1へ日本語での追加学習を行ったDeepSeek-R1-Distill-Qwen-14B-JapaneseをFirefly社のITX-3588J(RAM:16GB)で動作させてみました。ITX-3588JはRockchip社のRK3588を搭載した非常にパワフルなシングルボードコンピュータです。
ITX-3588J製品ページ(ちなみに弊社取り扱っておりますのでご興味ある方はご相談ください)
ITX-3588J 8K AI Mini-ITX MainboardPowered by Rockchip RK3588 new-gen 8-core 64-bit processor, ten.t-firefly.com
実装にはこちらの記事を参考にさせて頂きました。
ローカル環境でLLMを実行する為のプラットフォームであるOllamaを活用しました。
処理速度はCPUでの実行で約1トークン/sでした。RK3588はCortex-A76 x 4、A55 x4搭載したパワフルなSoCですが、14Bクラスのモデルになるとこのぐらいの性能になるみたいです。RK3588にはNPUも搭載していますのでNPUも活用できるようになれば性能向上が期待できます。
DeepSeekでもう少し軽量なモデルがあれば「つぶやくカメラ」への実装も検討できそうです。
最後に今回のテスト結果を記載しておきます。
LLMに”こんにちは”と挨拶してみました。,<think></think>の間はLLMがどのような判断で回答を作成したのかが出力されています。
こんにちは
<think>
ユーザーは「こんにちは」と日本語で挨拶しています。まず、挨拶の返事を適切に行う必要があります。「おはようございます」や「こんばんは」ではなく、「こんにちは」が最もふさわしいでしょう。
次に、ユーザーが何を求めているのかを推測します。会話が始まったばかりなので、ユーザーが何か質問や助言を求めている可能性があります。そのため、丁寧な対応と親切さを心掛けることが重要です。
また、日本語のニュアンスも考慮します。「こんにちは」は昼間の時間帯に適しているため、現在時刻を確認する必要がありますが、情報がない場合は一般的な返答を選びます。さらに、ユーザーがどのよ
うな話題に関心を持っているかも想定し、幅広いサポートができるように準備が必要です。
ユーザーが日本語で会話を続けた場合の対応も想定します。例えば、質問や悩み事への回答、情報提供などが考えられます。そのため、正確性と親切さを両立させつつ、適切なレスポンスを心掛けます。
最終的には、ユーザーが満足できるような丁寧で誠実な応答を提供することが目標です。
</think>
こんにちは！
何でもお気軽にご相談ください。皆様のお力になれることが光栄です✨
（補足：日本語での会話開始に適切に対応するため、一般的な挨拶返しと親しみやすい口調を採用しました）
