ローカルAIで画像を作るだけでなく、動画や音楽も自分のWindows PCで生成してみたい。
そんなとき、画像用・動画用・音楽用とそれぞれ別の生成環境を用意するのではなく、共通の生成環境として使えるのがComfyUIです。
ComfyUIという名前を画像生成で知った人も多いと思いますが、現在は画像だけのツールではありません。動画、音楽・音声、3Dなど、さまざまな生成AIのWorkflowを同じ画面上で扱えます。
私自身、最初はComfyUIを画像生成用のツールというイメージで使い始めました。しかし実際に触ってみると、ACE-Step 1.5による音楽生成や動画生成モデルなども同じ環境で扱えることが分かり、ローカル生成AIの共通基盤として使うようになりました。
この記事では、「ComfyUIとは何なのか」「何ができるのか」「大量のノードがあって難しそうだけど初心者でも使えるのか」というところから、Windowsでの始め方まで実際の画面を使って紹介します。
なお、本記事で掲載している実機画面はWindows版ComfyUI Portableを使用しています。
ComfyUIとは？
ComfyUIは、生成AIの処理を「ノード」と呼ばれる部品として配置し、それらをつないで実行するノードベースの生成環境です。
ノードを組み合わせた一連の処理を、ComfyUIではWorkflow（ワークフロー）と呼びます。
たとえば画像生成なら、モデルを読み込む処理、プロンプトを入力する処理、画像を生成する処理、生成結果を保存する処理などをノードとして接続します。
初めて画面を見ると「何か難しそう」と感じるかもしれません。
私も最初はそうでした。
ただし、初心者が最初からこのノードを1個ずつ配置してWorkflowを作る必要はありません。
現在のComfyUIにはあらかじめ用意されたWorkflow Templatesがあり、まずは完成済みのテンプレートを読み込んで実行するところから始められます。
ComfyUI公式でも、初めて使う場合は組み込みのWorkflow Templatesから始める方法が案内されています。
ComfyUIは画像生成だけのソフトではない
ComfyUIをStable Diffusionなどの画像生成から知った場合、「画像生成ソフト」という印象が強いかもしれません。
しかし現在のComfyUIは、もっと広い生成AI環境になっています。
実際に「テンプレートを参照」を開くと、私の環境では生成タイプとして画像・ビデオ・オーディオ・3Dモデル・LLMなどが並んでいます。
つまりComfyUIを1つ用意しておけば、対応しているモデルやWorkflowを追加することで、異なる種類の生成AIを同じUI上で扱えます。
ただし、ここは少し注意が必要です。
テンプレート一覧に表示されるものが、すべて完全なローカル生成というわけではありません。
ComfyUIにはローカルで動くオープンモデルのWorkflowだけでなく、外部サービスを利用するPartner NodeやAPI系のWorkflowもあります。
「自分のPCだけで生成したい」という場合は、使用するWorkflowやモデルがローカル実行に対応しているかを確認して選ぶ必要があります。
ComfyUIでできること
ComfyUIで扱える生成AIはかなり増えています。代表的な用途を簡単に整理すると次のようになります。
| 用途 | できることの例 |
|---|---|
| 画像 | テキストから画像生成、画像から画像生成、修正、拡大、ControlNetなど |
| 動画 | テキストから動画、画像から動画、開始・終了フレームを使った動画生成など |
| 音楽・音声 | 音楽、BGM、歌入り楽曲、効果音、環境音など |
| 3D | 画像やテキストをもとにした3Dモデル生成など |
| LLM・その他 | テキスト処理や生成AIを組み合わせたWorkflowなど |
ComfyUI公式のチュートリアルでも、画像・動画・オーディオ・3Dなどが別々のカテゴリとして扱われています。
画像生成
ComfyUIの代表的な用途です。
テキストから画像を生成する基本的なText-to-Imageだけでなく、Image-to-Image、ControlNet、インペイント、アップスケールなど、処理を組み合わせたWorkflowを作れます。
モデルやLoRA、ControlNetなどを組み合わせたい場合も、どの処理をどこへ通しているのか視覚的に確認できるのがノード方式のメリットです。
動画生成
ComfyUIでは動画生成モデルも扱えます。
たとえばWan系モデルにはComfyUI公式のWorkflow例があり、Text-to-VideoやImage-to-Videoなどを実行できます。
Wan2.2の5Bモデルについては、ComfyUI公式でネイティブのオフロード機能を利用した8GB VRAM環境での実行例も案内されています。
音楽・音声生成
今回ComfyUIを改めて便利だと感じたのが、このオーディオ分野です。
現在はACE-Step 1.5などの音楽生成モデルをComfyUIから利用できます。
ACE-Step 1.5については、実際にAIOモデルを導入し、ComfyUIから30秒の音楽を生成するところまで試しました。
導入からモデルの配置、実際の生成方法まではこちらの記事で詳しくまとめています。
ComfyUIでACE-Step 1.5を使う方法｜AIOモデル導入・音楽生成【初心者向け】
また、ComfyUIはStable Audio 3にも対応しています。
Stable Audio 3については以前、専用環境でRTX 3070を使ってSmall・Mediumを実際に動かした記事も公開しています。
RTX 3070 / WindowsでStable Audio 3をローカル導入してみた
3D生成
ComfyUIには3D関連のWorkflowもあります。
たとえばHunyuan3D系では、画像を入力して3Dモデルを生成するWorkflowなどが公式ドキュメントで紹介されています。
画像生成や動画生成に比べると少し用途は専門的ですが、「画像・動画・音楽だけのツールではない」というComfyUIの広さが分かる部分です。
「ノード」と「Workflow」が難しそうに見える
ComfyUI初心者にとって一番大きな壁は、モデルの導入よりも最初に画面を見たときの難しそうな印象かもしれません。
ノードが何個も並び、線で大量につながっているため、「これを全部理解しないと生成できないのか」と思ってしまいます。
ですが、最初は細かい意味を理解する必要はありません。
まずは、
- 完成済みのWorkflow Templateを開く
- 必要なモデルを用意する
- プロンプトなど必要な部分だけ変更する
- 実行する
という流れで十分です。
動くWorkflowを実際に触ったあとで、「このノードはモデルを読み込んでいる」「ここでプロンプトを渡している」と少しずつ理解した方が入りやすいと思います。
初心者は「テンプレートを参照」から始めればいい
私の日本語UIでは、左上の「メニュー」→「テンプレートを参照」からWorkflow Templatesを開けます。
英語UIでは「Workflow → Browse Workflow Templates」などの表記になる場合があります。
テンプレートを選ぶとWorkflowが読み込まれます。
さらにComfyUIは、そのテンプレートで必要なモデルファイルが存在するかを確認し、不足していれば知らせてくれます。
Windows Portable版では、必要なモデルのダウンロードを選ぶとブラウザからモデルを取得し、指定されたComfyUI\models以下のフォルダへ保存する形になります。
以前は「どのモデルをどこへ置けばいいのか」を自分で調べるところもローカルAI導入の難しさでしたが、対応テンプレートではかなり分かりやすくなっています。
WindowsではDesktop版とPortable版のどちらを使う？
WindowsでComfyUIを使う場合、主にDesktop版とPortable版という選択肢があります。
| Desktop版 | Portable版 | |
|---|---|---|
| 導入 | 一般的なアプリのようにインストール | ダウンロードして解凍 |
| Python環境 | 自動構成 | 独立したPythonを同梱 |
| 更新 | Stableリリースを基準 | 新しい機能を早く試しやすい |
| 管理 | 初心者にも分かりやすい | フォルダ単位で管理しやすい |
| この記事の実機環境 | 未使用 | 使用 |
ComfyUI公式ではDesktop版は通常のソフトのようにインストールでき、Python環境や依存関係も自動的に構成されます。
一方、Portable版は独立したPython環境を含むスタンドアロン版で、フォルダを解凍して利用できます。
またDesktop版はStableリリースをもとに構築されるため、新機能が反映されるまで少し時間がかかることがあります。新しいモデルや機能を早めに試したい場合、Portable版や手動インストール版が向いています。
「とにかく簡単に始めたい」ならDesktop版は有力です。
一方、私のように新しい生成モデルをいろいろ試し、モデルや起動方法もフォルダ単位で管理したい場合はPortable版が扱いやすいと感じています。
Portable版はダウンロードして解凍すれば使える
WindowsでNVIDIA GPUを使うPortable版の場合、基本的な導入はかなりシンプルです。
ComfyUI公式からPortable版をダウンロードして解凍すると、ComfyUI本体と独立したPython環境がまとめて入っています。
NVIDIA GPUなら、解凍したフォルダにある、
run_nvidia_gpu.batを実行して起動できます。
初めてのComfyUI導入から実際にモデルを入れて生成するところまで見たい場合は、ACE-Step 1.5の記事でPortable版のダウンロードから順番に説明しています。
ComfyUI Portableの導入からACE-Step 1.5で音楽を作るまでを見る
ComfyUIに必要なPCスペックは使うモデルによって変わる
「ComfyUIにはVRAMが何GB必要なのか」という点も初心者が気になるところだと思います。
ここはComfyUIそのものより、何のモデルを動かすかで必要スペックが大きく変わると考えた方が分かりやすいです。
軽量な画像モデルと、大規模な動画モデルや音楽モデルでは必要なVRAMがまったく違います。
たとえば公式のWan2.2 5B動画Workflowでは、ComfyUIのネイティブオフロードを利用して8GB VRAMでの動作が案内されています。一方で、より大きな動画モデルではさらに多くのVRAMが必要になります。
そのため「ComfyUIを使うには何GB」という一律の数字だけを見るのではなく、使いたいモデル名 + VRAMで確認するのがおすすめです。
モデルはComfyUI\models以下へ入れる
ローカルモデルを使う場合、多くのモデルファイルはComfyUIフォルダ内のmodels以下へ配置します。
ただし、全部を同じフォルダへ入れるわけではありません。
ComfyUI
└─ models
├─ checkpoints
├─ diffusion_models
├─ text_encoders
├─ vae
└─ ...使用するモデルによってcheckpoints、diffusion_models、text_encoders、vaeなど配置先が変わります。
対応しているWorkflow Templateなら、不足モデルと配置先を確認しやすいので、最初はテンプレートを利用するのが楽です。
私はモデルをSSD、生成ファイルをHDDに分けている
ローカルAIをいろいろ試すようになると、モデルだけでかなりの容量を使います。
私の環境では、ComfyUI本体とモデルはSSDへ置き、生成した画像・動画・音楽は容量の大きいHDDへ保存する構成にしています。
モデルは起動時や切り替え時にストレージから読み込むためSSDへ置き、数が増え続ける生成物は大容量ストレージへ逃がす、という考え方です。
SSDへ置けばGPU上での生成演算そのものが必ず高速になる、という意味ではありません。主にモデルの読み込みや管理を考えた構成です。
このあたりの具体的な出力先変更についても、ACE-Step 1.5の記事で実際の設定例を紹介しています。
初心者は何から試すのがおすすめ？
ComfyUIを入れたら、最初から複雑なWorkflowを作ろうとしなくて大丈夫です。
まずは「テンプレートを参照」を開き、自分が作りたいもののカテゴリから1つWorkflowを選んでください。
画像を作りたいなら画像生成テンプレート、動画ならVideo、音楽ならAudioという形で入れば分かりやすいです。
私が実際に試した中では、ACE-Step 1.5のAIO版はモデルが1ファイルにまとまっており、不足モデルもComfyUI側で確認できたので、「テンプレートを使ってローカル生成AIを動かす」というComfyUIの流れを体験する題材として分かりやすいと感じました。
ACE-Step 1.5をComfyUIで実際に動かす手順はこちら
専用環境を増やすよりComfyUIへまとめられるのが便利
これまでローカル生成AIを試すときは、モデルごとに専用Portable版やPython環境を作ることも多くありました。
専用UIには専用UIの使いやすさがありますが、モデルが増えるほどPython環境や依存関係、起動方法、保存場所も増えていきます。
ComfyUIで対応しているモデルなら、ComfyUIという共通環境の中へWorkflowとモデルを追加していく形にできます。
画像・動画・音楽をいろいろ試したい場合、この「生成AIの共通基盤として使える」点がComfyUIの大きな魅力だと思います。
一方で、モデルによって必要VRAMや導入方法は違いますし、専用UIでしか使えない機能もあります。
そのためすべてを無理にComfyUIへ統一するのではなく、ComfyUIで扱いやすいものはまとめ、専用環境の方が便利なものは使い分けるのが現実的です。
まとめ
ComfyUIは画像生成だけのツールではなく、画像・動画・音楽・音声・3Dなど、さまざまな生成AIのWorkflowを扱える環境です。
ノードが大量に並ぶ画面は最初こそ難しそうに見えますが、初心者が最初からWorkflowを自作する必要はありません。
「テンプレートを参照」→ 作りたいカテゴリを選ぶ → Workflowを開く → 必要なモデルを用意する → 実行するというところから始めれば十分です。
特に画像だけでなく動画や音楽など複数のローカル生成AIを試したい人にとって、ComfyUIを1つの共通環境として用意しておくメリットは大きいと思います。
このブログでも今後、実際にWindows PCで動かした画像生成・動画生成・音楽生成のWorkflowを個別に紹介し、このページからそれぞれの実践記事へたどれるようにしていく予定です。
コメント