最近、「AIエージェント」という言葉を目にする機会がかなり増えてきました。
ChatGPTのようなAIとの違いは何なのか。
自分のPCでも動かせるのか。
そして、実際のところ何をさせられるのか。
私自身、ChatGPTなどのAIは普段から使っていますが、AIエージェントについては、
「自動で色々やってくれるAIらしい」
という程度の理解でした。
そこで今回は、実際にWindows PCへローカルAIエージェント環境を構築し、ファイル操作、Web調査、記事作成、複数ファイルの監査まで試してみました。
使用した主な環境は以下です。
- Windows 11
- GeForce RTX 5070 Ti 16GB
- Core i7-12700K
- メモリ48GB
- SATA SSD
- LM Studio
- Hermes Agent
結論から言うと、RTX 5070 Ti 16GBでもローカルAIエージェントは十分動かせました。
ただし、実際に使ってみると、
精度を求めると遅くなり、速度を求めると判断の粗さが目立つ
という、かなり分かりやすいトレードオフも見えてきました。
そもそもAIエージェントとは何なのか
普通の生成AIは、基本的には入力した内容に対して文章を返してくれます。
例えば、
「この資料をもとにブログ記事を書いて」
と頼めば、記事本文を生成してくれます。
ここまでは、普段ChatGPTなどを使っている人ならイメージしやすいと思います。
AIエージェントでは、これにさらに「ツールを使う」という能力が加わります。
今回使ったHermes Agentでは、AIが必要に応じて、ファイルを探す、ファイルを読む、ファイルを書く、Webを検索する、Webページを読む、といった操作を自分で選びながら作業できます。
この違いは、実際の作業フローで比べると分かりやすいです。
普通のチャットAIとAIエージェントでは作業の流れが違う
例えば、ファクトチェック済みの資料からブログ記事を作る場合を考えてみます。
一般的なクラウドAIを「チャットAI」として使う場合、私ならおおむね次のような流れになります。
資料をアップロードする
↓
「この資料をもとに記事を書いて」と依頼する
↓
生成された文章を読む
↓
必要なら修正を依頼する
↓
完成した文章を自分でMarkdownファイルなどへ保存する
↓
保存した内容を自分で確認する
AIが記事本文を作ってくれるとはいえ、作業全体を進めているのは基本的に人間です。
一方、今回Hermes Agentには、
「この資料を読んでブログ記事を書き、Markdownとして保存した後、保存できているか確認して」
とまとめて指示しました。
するとAIエージェント側で、
資料を探す
↓
資料を読む
↓
内容を考える
↓
記事を書く
↓
Markdownファイルへ保存する
↓
保存したファイルをもう一度読む
↓
正常に保存できたことを確認して終了する
という流れを、自分で進めました。
つまり、
「次はファイルを読んで」
「次は保存して」
「最後に確認して」
と毎回こちらが指示しなくても、最初に与えた目的に向かって必要な作業を自分で組み立てて進めてくれるわけです。
これが、実際に使ってみて一番「AIエージェントらしい」と感じた部分でした。
なお、これは「クラウドAIにはできず、ローカルAIだけができる」という意味ではありません。
現在はクラウドAI側にもエージェント機能やファイル操作機能を持つものがあります。
本質的には、クラウドかローカルかという違いより、「回答を返すチャット」と「目的に向かってツールを使いながら作業するエージェント」の違いと考えた方が分かりやすいと思います。
今回試したかったのは、そうしたエージェント処理を、自分のWindows PC上でローカルLLMを使ってどこまで実行できるのかという点です。
実際に何をさせられたのか
最初に試したのは、単純なファイル操作です。
指定したMarkdownファイルを新規作成し、決めた文章を書き込んだ後、もう一度そのファイルを読み直して内容が正しいか確認させました。
これは問題なく成功しました。
次にWeb検索を許可して、
「最近のローカルAI関連ニュースを調べ、ブログ記事にする価値がありそうなものを3件選ぶ」
という作業も試しました。
AI自身が検索し、ページを読み、情報を整理し、結果をMarkdownへ保存するところまで自動で進みました。
さらに、
「ファクトチェック済みの資料を読んで、3000～4500字程度の記事を書いて保存する」
という作業も実行しています。
最後には、複数のMarkdownファイルを読ませ、関連している内容、重複している内容、更新した方がよさそうな記述、派生記事候補、優先して確認すべき項目などをまとめる「ブログ保守監査」のような作業までさせてみました。
少なくとも、
ファイルを読む → 判断する → 別のツールを使う → 結果を保存する
という複数段階の作業は、ローカル環境でも実行できました。
ただし、AIエージェントは普通のチャット以上にモデル速度が効く
ここで重要だったのが、モデルの速度です。
普通のチャットであれば、一度回答を生成して終わることも多いです。
しかしAIエージェントでは、
資料を読む
↓
次に何をするか考える
↓
ツールを呼ぶ
↓
ツールの結果を読む
↓
また次に何をするか考える
という流れを何度も繰り返します。
つまり、1回の生成が少し遅いだけでも、エージェント全体ではその差が積み重なります。
今回、最初は約27BのQwen系モデルを使いました。
文章品質や慎重な判断は比較的良かったのですが、かなり時間がかかりました。
14Bモデルにするとかなり速くなった
そこで、より小さいMinistral 3 14Bへ変更しました。
LM Studio単体での生成速度は大きく向上し、Hermes Agent上でもその効果ははっきり出ました。
実測では、次のようになりました。
| 実験 | 約27Bモデル | 14Bモデル |
|---|---|---|
| ファイル作成＋確認 | 約56秒 | 約34秒 |
| Webニュース調査 | 約20分 | 約14分 |
| 約3500字の記事生成 | 約37分 | 約10分 |
特に記事生成では、約37分から約10分まで短縮されています。
ここまで差が出ると、使用感はかなり変わります。
記事生成が約10分程度で終わるなら、例えば別の作業をしている間に動かしておく使い方もかなり現実的です。
夜に処理を開始し、翌朝結果を確認するような使い方なら、さらに待ち時間は気になりにくくなります。
ここだけを見ると、
「それなら14Bで十分では？」
と思うところですが、実際にはそう単純でもありませんでした。
速くすると、今度は精度が気になった
14Bモデルでは、明らかに処理が速くなりました。
一方で、Web調査や技術的な説明では、古い情報を最近のニュースとして扱う、一次情報の確認が浅い、「書かれていない」ことを「存在しない」と解釈する、似ている技術を混同する、文章の断定が少し強くなる、といった問題が増えました。
ブログ記事を書かせたときにも、27Bモデルでは比較的慎重に扱えていた技術的な違いを、14Bモデルでは少し大ざっぱにまとめてしまう場面がありました。
つまり今回の実験では、
大きいモデルは遅いが比較的慎重。
小さいモデルは速いが判断が少し粗くなることがある。
という傾向がかなりはっきり出ました。
これが今回のローカルAIエージェント実験で、一番大きな発見だったかもしれません。
RTX 5070 Ti 16GBではどこまで動いたのか
今回使用したRTX 5070 Tiには16GBのVRAMがあります。
約27Bの量子化モデルも動かすことはできました。
ただし、AIエージェントではモデル本体だけでなく、Context Lengthも重要になります。
今回使用したHermes Agentでは64K以上のContextが必要だったため、モデルをGPUへ載せるだけではなく、KV Cacheなどのためのメモリも確保する必要がありました。
Ministral 3 14Bでは、一部のレイヤーをCPU側へ逃がす構成で、次のような状態で動作しました。
- Context Length：65,536
- GPU Offload：32/40層
- VRAM使用：約14GB
- RAM使用：約27GB
つまり、16GB VRAM＋48GB RAMでも、64K Contextを使うローカルAIエージェントは実際に動かせました。
14Bクラスであれば、今回の環境ではかなり現実的な範囲でした。
一方で27Bクラスになると、16GB VRAMでは余裕がかなり少なくなります。
モデルのGPU OffloadやKV Cacheなど、設定を調整しながら使う必要がありました。
では、どれくらいのPCが必要なのか
今回の結果だけから一般化しすぎることはできませんが、AIエージェントを試してみたいという段階であれば、必ずしも最上位GPUは必要ではないと思います。
7B～14B程度の量子化モデルなら、12～16GB程度のVRAMを持つGPUでも試せる可能性は十分あります。
ただし、モデルやContext Length、量子化方式、使用するエージェントによって必要なメモリは変わるため、「VRAMが○GBあれば必ず動く」とまでは言えません。
より大きなモデルを使いたい、長い資料を読ませたい、CPUへあまり逃がしたくない、エージェントをもっと高速に動かしたい、となるとVRAM容量とGPU性能が重要になってきます。
24GBや32GBなど、よりVRAMに余裕のある環境であれば、大きなモデルをGPUへ載せやすくなり、今回のような速度と精度のトレードオフも小さくできる可能性があります。
ただし、GPUを高性能にしたからAIそのものの精度が直接上がるわけではありません。
正確には、
高性能なGPUほど、より能力の高いモデルを高速に動かしやすくなる
ということです。
その結果として、「大きいモデルを使うと遅い」という問題をある程度緩和できるわけです。
ChatGPTの代わりになるのか
今回使ってみた範囲では、私は「そのまま置き換えるもの」ではないと感じました。
例えば記事を1本作るだけなら、クラウドAIへ頼んだ方が速い場合が多いです。
ローカルAIエージェントが10分、30分と処理している内容を、クラウドAIならもっと短時間で終えられることもあります。
一方で、ローカルAIエージェントには別の強みがあります。
それは、
人間がその場で付き合い続ける必要がない
ことです。
例えば夜に、
「このフォルダの資料を確認して、関連する内容を整理し、結果を保存しておいて」
と依頼しておき、朝に結果を見る。
こうした使い方なら、10分でも30分でも大きな問題ではありません。
また、クラウドAPIの従量課金を使わず、自分のPCの計算資源で長時間処理させられることにも意味があります。
実際に使って感じたこと
今回の実験を通して、一番強く感じたのは、
ローカルAIエージェントでは、精度とスピードのバランスが非常に重要
ということでした。
27Bクラスのモデルでは比較的慎重な判断ができる一方、エージェントとして何度もモデルを呼び出すと処理時間がかなり長くなります。
14Bモデルにすると一気に高速になりますが、Web調査や細かい事実関係の扱いでは精度が落ちる場面がありました。
そのため、
「一番大きいモデルを使えばいい」
でも、
「一番速いモデルを使えばいい」
でもありません。
自分が任せたい作業に必要な精度を満たしつつ、許容できる速度で動くモデルを選ぶ
ことが重要だと感じました。
また、よりVRAMの多い高性能GPUを使えば、より大きなモデルを高速に動かしやすくなるため、この精度と速度のトレードオフをある程度縮められる可能性があります。
まとめ
今回、RTX 5070 Ti 16GBと48GB RAMのWindows PCで、Hermes AgentとローカルLLMを使ったAIエージェント環境を実際に試してみました。
結果として、ファイル操作、Web検索、情報整理、記事作成、複数ファイルの確認、結果の自動保存といった作業を、ローカルPC上でもかなり実行できました。
特に面白かったのは、AIエージェントが単に文章を返すのではなく、
目的を与えると、必要な作業を自分で選びながら進めていく
という点です。
一方で、まだ何でも安心して任せられるわけではありません。
調査内容には間違いが混ざることがありますし、モデルを小さくするとその傾向が強くなる場面もありました。
今回の私の総評としては、
ローカルAIエージェントでは、精度とスピードはかなりトレードオフになる。
そして、
より高性能でVRAMに余裕のある環境ほど、大きなモデルを高速に動かせるため、その両立がしやすくなる。
という印象です。
ただし、少なくともRTX 5070 Ti 16GBクラスでも、
「AIエージェントとは何なのか」
「普通のチャットAIと何が違うのか」
「自分のPCでどこまでできるのか」
を実際に体験するには十分でした。
AIエージェントに興味はあるものの、
「結局何をしてくれるのか分からない」
「自分のPCで動くのか分からない」
という人にとっては、以前よりかなり試しやすいところまで来ていると思います。
コメント