画像・動画・音楽を生成できるComfyUIとは？【Windows初心者向け】

ローカルAIで画像を作るだけでなく、動画や音楽も自分のWindows PCで生成してみたい。

そんなとき、画像用・動画用・音楽用とそれぞれ別の生成環境を用意するのではなく、共通の生成環境として使えるのがComfyUIです。

ComfyUIという名前を画像生成で知った人も多いと思いますが、現在は画像だけのツールではありません。動画、音楽・音声、3Dなど、さまざまな生成AIのWorkflowを同じ画面上で扱えます。

ただし、ここは私自身も最初に勘違いしていた点です。ComfyUIは「ローカル生成AIだけを統合するツール」ではありません。

PC内にモデルを保存して自分のGPUで生成するローカルWorkflowに加えて、外部のAIサービスへAPI経由で処理を依頼するPartner Node・API系Workflowも同じComfyUI上で扱えます。

つまりComfyUIは、ローカル生成AIをまとめられる共通基盤であると同時に、必要に応じて外部API型の生成AIも同じWorkflow画面から扱える生成環境と考える方が正確です。

この記事では、「ComfyUIとは何なのか」「ローカル生成とAPI生成は何が違うのか」「何ができるのか」「大量のノードがあって難しそうだけど初心者でも使えるのか」というところから、Windowsでの始め方まで実際の画面を使って紹介します。

なお、本記事で掲載している実機画面はWindows版ComfyUI Portableを使用しています。

ComfyUIとは？
ComfyUIは画像生成だけのソフトではない
ComfyUIは「ローカル生成AI専用」ではない
ComfyUIでできること
「ノード」と「Workflow」が難しそうに見える
初心者は「テンプレートを参照」から始めればいい
WindowsではDesktop版とPortable版のどちらを使う？
Portable版はダウンロードして解凍すれば使える
ComfyUIに必要なPCスペックは使うモデルによって変わる
ローカルモデルはComfyUI\models以下へ入れる
私はモデルをSSD、生成ファイルをHDDに分けている
初心者は何から試すのがおすすめ？
専用環境を増やすよりComfyUIへまとめられるのが便利
まとめ
参考リンク

ComfyUIとは？

ComfyUIは、生成AIの処理を「ノード」と呼ばれる部品として配置し、それらをつないで実行するノードベースの生成環境です。

ノードを組み合わせた一連の処理を、ComfyUIではWorkflow（ワークフロー）と呼びます。

たとえば画像生成なら、モデルを読み込む処理、プロンプトを入力する処理、画像を生成する処理、生成結果を保存する処理などをノードとして接続します。

Windows Portable版ComfyUIで画像生成ワークフローを表示した画面

初めて画面を見ると「何か難しそう」と感じるかもしれません。

私も最初はそうでした。

ただし、初心者が最初からこのノードを1個ずつ配置してWorkflowを作る必要はありません。

現在のComfyUIにはあらかじめ用意されたWorkflow Templatesがあり、まずは完成済みのテンプレートを読み込んで実行するところから始められます。

ComfyUI公式でも、初めて使う場合は組み込みのWorkflow Templatesから始める方法が案内されています。

ComfyUI公式：Workflowについて

ComfyUIは画像生成だけのソフトではない

ComfyUIをStable Diffusionなどの画像生成から知った場合、「画像生成ソフト」という印象が強いかもしれません。

しかし現在のComfyUIは、もっと広い生成AI環境になっています。

実際に「テンプレートを参照」を開くと、私の環境では生成タイプとして画像・ビデオ・オーディオ・3Dモデル・LLMなどが並んでいます。

ComfyUIのテンプレート一覧に表示された画像・ビデオ・オーディオ・3Dモデルなどのカテゴリ

つまりComfyUIを1つ用意しておけば、対応しているモデルやWorkflowを追加することで、異なる種類の生成AIを同じUI上で扱えます。

ComfyUIは「ローカル生成AI専用」ではない

ここは、ComfyUIをローカルAI用途から使い始めると特に勘違いしやすいところです。

ComfyUIには、PC内にモデルを保存して自分のGPUで推論するローカルWorkflowだけでなく、外部のAIサービスへAPI経由で処理を依頼するPartner Node・API系Workflowもあります。

	ローカルWorkflow	API / Partner Node系Workflow
モデル本体	基本的に自分のPCへ保存	外部サービス側でホストされるモデルを利用
主な生成処理	自分のGPU・CPU	外部サービス側
ネット接続	モデル取得後はWorkflow次第	API利用時に必要
PCのVRAM	モデルによって重要	生成本体は外部処理なのでローカルVRAMへの依存は小さい
料金	モデル自体が無料公開されていれば生成ごとのAPI料金は不要	サービスによってクレジットや料金が必要な場合がある

ComfyUI公式では、外部APIサービスへ接続する仕組みをPartner Nodesとして案内しています。

ComfyUI公式：Partner Nodes

テンプレート一覧を見ただけではローカルかAPIか判断できない場合がある

ここも注意が必要です。

私が実際にテンプレート一覧を見た範囲では、一覧画面だけで「これはローカル」「これはAPI」と一律に見分けられる表示にはなっていませんでした。

そのため、テンプレート一覧に表示されているからといって、すべてが「モデルをPCへダウンロードして、自分のGPUだけで無料生成できるWorkflow」とは限りません。

今回Wan系のテンプレートを確認した際も、一覧だけではローカルかAPIか判断できず、テンプレートを開いたあとにAPIを利用する構成だと分かるものがありました。

ローカルかAPIかはWorkflowを開いて確認する

自分のPCだけで生成したい場合は、テンプレートを開いたあとに次の点を確認すると分かりやすいです。

ローカルモデルを読み込むノードがあるか：Checkpoint、Diffusion Model、Text Encoder、VAEなど、ComfyUI\models以下のファイルを選ぶ構成になっているか
不足モデルのダウンロードが求められるか：数GB～十数GBの.safetensorsなどをPCへ用意するWorkflowならローカル生成の可能性が高い
API、Partner、ログイン、クレジットなどの表示がないか：外部サービスを使うWorkflowでは、API利用に関する項目がWorkflow内に出る場合がある
公式ドキュメントを確認する：同じモデル名でもローカル版とAPI版の扱いが異なる場合があるので、最終的にはそのWorkflow・モデルの公式説明を見る

このブログで実際に紹介しているKrea-2、Wan2.2 5B、ACE-Step 1.5の記事は、いずれもモデルファイルをPCへ保存し、手元のGPUで生成したローカルWorkflowの例です。

一方、API型Workflowには「大きなモデルを自分のPCへ置かなくても使える」というメリットがあります。ローカルとAPIのどちらが優れているというより、完全ローカルで使いたいのか、外部サービスも含めて便利に使いたいのかで選ぶことになります。

API系ノードを使いたくない場合は無効化もできる

ComfyUI公式には、Partner / API系ノードを無効にするための–disable-api-nodes起動オプションも用意されています。

--disable-api-nodes

ただし、このオプションはAPIノードを無効にするだけでなく、ComfyUIフロントエンドからのインターネット通信も止めるため、初心者が必ず設定する必要はありません。

まずは「ComfyUIのテンプレートにはローカルとAPIの両方があり得る」と理解して、使いたいWorkflowごとに確認するだけでも十分です。

ComfyUIでできること

ComfyUIで扱える生成AIはかなり増えています。代表的な用途を簡単に整理すると次のようになります。

用途	できることの例
画像	テキストから画像生成、画像から画像生成、修正、拡大、ControlNetなど
動画	テキストから動画、画像から動画、開始・終了フレームを使った動画生成など
音楽・音声	音楽、BGM、歌入り楽曲、効果音、環境音など
3D	画像やテキストをもとにした3Dモデル生成など
LLM・その他	テキスト処理や生成AIを組み合わせたWorkflowなど

ComfyUI公式のチュートリアルでも、画像・動画・オーディオ・3Dなどが別々のカテゴリとして扱われています。

画像生成

ComfyUIの代表的な用途です。

テキストから画像を生成する基本的なText-to-Imageだけでなく、Image-to-Image、ControlNet、インペイント、アップスケールなど、処理を組み合わせたWorkflowを作れます。

モデルやLoRA、ControlNetなどを組み合わせたい場合も、どの処理をどこへ通しているのか視覚的に確認できるのがノード方式のメリットです。

実際にComfyUIで画像を生成する流れについては、Krea-2を使って最初の1枚を作るところまで実機で確認しました。Workflowの開き方、プロンプト入力、生成結果、保存先までこちらの記事で紹介しています。

ComfyUIで画像生成する方法｜Krea-2で最初の1枚を作る【初心者向け】

動画生成

ComfyUIでは動画生成モデルも扱えます。

たとえばWan系モデルにはComfyUI公式のWorkflow例があり、Text-to-VideoやImage-to-Videoなどを実行できます。

Wan2.2の5Bモデルについては、ComfyUI公式でネイティブのオフロード機能を利用した8GB VRAM環境での実行例も案内されています。

ComfyUI公式：Wan2.2動画生成Workflow

実際にComfyUIで画像を動画にする方法も試しました。Wan2.2 5Bを使い、1枚の画像を読み込んでImage-to-Videoで短い動画を生成するまでを、必要なPCスペック、テンプレートの探し方、モデル配置、I2Vの有効化、プロンプト入力まで含めて紹介しています。

ComfyUIで画像を動画にする方法｜Wan2.2 5Bで最初の動画を作る【初心者向け】

音楽・音声生成

今回ComfyUIを改めて便利だと感じたのが、このオーディオ分野です。

現在はACE-Step 1.5などの音楽生成モデルをComfyUIから利用できます。

ACE-Step 1.5については、実際にAIOモデルを導入し、ComfyUIから30秒の音楽を生成するところまで試しました。

導入からモデルの配置、実際の生成方法まではこちらの記事で詳しくまとめています。

ComfyUIでACE-Step 1.5を使う方法｜AIOモデル導入・音楽生成【初心者向け】

また、ComfyUIはStable Audio 3にも対応しています。

Stable Audio 3については以前、専用環境でRTX 3070を使ってSmall・Mediumを実際に動かした記事も公開しています。

RTX 3070 / WindowsでStable Audio 3をローカル導入してみた

3D生成

ComfyUIには3D関連のWorkflowもあります。

たとえばHunyuan3D系では、画像を入力して3Dモデルを生成するWorkflowなどが公式ドキュメントで紹介されています。

画像生成や動画生成に比べると少し用途は専門的ですが、「画像・動画・音楽だけのツールではない」というComfyUIの広さが分かる部分です。

ComfyUI公式：Hunyuan3D Workflow

「ノード」と「Workflow」が難しそうに見える

ComfyUI初心者にとって一番大きな壁は、モデルの導入よりも最初に画面を見たときの難しそうな印象かもしれません。

ノードが何個も並び、線で大量につながっているため、「これを全部理解しないと生成できないのか」と思ってしまいます。

ですが、最初は細かい意味を理解する必要はありません。

まずは、

完成済みのWorkflow Templateを開く
必要なモデルを用意する
プロンプトなど必要な部分だけ変更する
実行する

という流れで十分です。

動くWorkflowを実際に触ったあとで、「このノードはモデルを読み込んでいる」「ここでプロンプトを渡している」と少しずつ理解した方が入りやすいと思います。

初心者は「テンプレートを参照」から始めればいい

私の日本語UIでは、左上の「メニュー」→「テンプレートを参照」からWorkflow Templatesを開けます。

英語UIでは「Workflow → Browse Workflow Templates」などの表記になる場合があります。

テンプレートを選ぶと、完成済みのWorkflowが読み込まれます。

初心者にとって便利なのは、最初からノードを組み立てなくても、モデル読み込み・プロンプト・生成・保存まで組まれた状態から始められることです。

ローカルモデルを使うテンプレートでは、必要なモデルファイルが存在しない場合に不足モデルを知らせてくれることがあります。

Windows Portable版では、モデルのダウンロードを選ぶとブラウザからファイルを取得する形になる場合があります。ダウンロード後は、モデルの種類に応じてComfyUI\models以下のcheckpoints、diffusion_models、text_encoders、vaeなど対応するフォルダへ配置します。

保存先はモデルごとに異なるため、「テンプレートが自動で保存場所まで全部判断してくれる」と考えるより、Workflow内のモデル種類や公式ドキュメントを確認して配置する方が確実です。

また、前述したとおりテンプレート一覧にはローカルWorkflowとAPI系Workflowが混在し得ますが、一覧画面だけでは判別できない場合があります。

そのため「テンプレートを開く → ローカルモデル読込ノードなのか、API / Partner Nodeなのか確認する → ローカルなら必要モデルを用意する」という順番で見ていくと迷いにくいです。

ComfyUI公式：Workflow Templates

WindowsではDesktop版とPortable版のどちらを使う？

WindowsでComfyUIを使う場合、主にDesktop版とPortable版という選択肢があります。

	Desktop版	Portable版
導入	一般的なアプリのようにインストール	ダウンロードして解凍
Python環境	自動構成	独立したPythonを同梱
更新	Stableリリースを基準	新しい機能を早く試しやすい
管理	初心者にも分かりやすい	フォルダ単位で管理しやすい
この記事の実機環境	未使用	使用

ComfyUI公式ではDesktop版は通常のソフトのようにインストールでき、Python環境や依存関係も自動的に構成されます。

一方、Portable版は独立したPython環境を含むスタンドアロン版で、フォルダを解凍して利用できます。

またDesktop版はStableリリースをもとに構築されるため、新機能が反映されるまで少し時間がかかることがあります。新しいモデルや機能を早めに試したい場合、Portable版や手動インストール版が向いています。

「とにかく簡単に始めたい」ならDesktop版は有力です。

一方、私のように新しい生成モデルをいろいろ試し、モデルや起動方法もフォルダ単位で管理したい場合はPortable版が扱いやすいと感じています。

ComfyUI公式：システム要件・各インストール方法

Portable版はダウンロードして解凍すれば使える

WindowsでNVIDIA GPUを使うPortable版の場合、基本的な導入はかなりシンプルです。

ComfyUI公式からPortable版をダウンロードして解凍すると、ComfyUI本体と独立したPython環境がまとめて入っています。

NVIDIA GPUなら、解凍したフォルダにある、

run_nvidia_gpu.bat

を実行して起動できます。

初めてのComfyUI導入から実際にモデルを入れて生成するところまで見たい場合は、ACE-Step 1.5の記事でPortable版のダウンロードから順番に説明しています。

ComfyUI Portableの導入からACE-Step 1.5で音楽を作るまでを見る

ComfyUI公式：Windows Portable版

ComfyUIに必要なPCスペックは使うモデルによって変わる

「ComfyUIにはVRAMが何GB必要なのか」という点も初心者が気になるところだと思います。

ここはComfyUIそのものより、何のモデルをどの方式で動かすかで必要スペックが大きく変わると考えた方が分かりやすいです。

ローカルWorkflowでは、軽量な画像モデルと、大規模な動画モデルや音楽モデルでは必要なVRAMがまったく違います。

たとえば公式のWan2.2 5B動画Workflowでは、ComfyUIのネイティブオフロードを利用して8GB VRAMでの動作が案内されています。一方で、より大きな動画モデルではさらに多くのVRAMが必要になります。

そのためローカル生成については、「ComfyUIを使うには何GB」という一律の数字だけを見るのではなく、使いたいモデル名 + VRAMで確認するのがおすすめです。

一方、API / Partner Node系Workflowでは生成本体を外部サービス側で処理するため、ローカルモデルと同じVRAM条件で考える必要はありません。

「自分のGPUで動かしたい」という場合は、まずそのWorkflowがローカル実行なのかAPI実行なのかを確認してからPCスペックを見ると混乱しにくいです。

ローカルモデルはComfyUI\models以下へ入れる

ローカルWorkflowを使う場合、多くのモデルファイルはComfyUIフォルダ内のmodels以下へ配置します。

ただし、全部を同じフォルダへ入れるわけではありません。

ComfyUI
└─ models
   ├─ checkpoints
   ├─ diffusion_models
   ├─ text_encoders
   ├─ vae
   └─ ...

使用するモデルによってcheckpoints、diffusion_models、text_encoders、vaeなど配置先が変わります。

たとえば、このブログで実際に試したKrea-2やWan2.2 5Bでは、Diffusion Model、Text Encoder、VAEをそれぞれ対応するフォルダへ配置しています。

対応しているWorkflow Templateなら不足モデルを確認しやすい場合がありますが、保存先はモデル種類によって違うため、最終的にはWorkflow内のモデル名・種類や公式ドキュメントを確認するのが確実です。

なお、API / Partner Node系Workflowでは、生成モデル本体を自分のPCのmodelsフォルダへ置かずに利用するものもあります。

私はモデルをSSD、生成ファイルをHDDに分けている

ローカルAIをいろいろ試すようになると、モデルだけでかなりの容量を使います。

私の環境では、ComfyUI本体とモデルはSSDへ置き、生成した画像・動画・音楽は容量の大きいHDDへ保存する構成にしています。

モデルは起動時や切り替え時にストレージから読み込むためSSDへ置き、数が増え続ける生成物は大容量ストレージへ逃がす、という考え方です。

SSDへ置けばGPU上での生成演算そのものが必ず高速になる、という意味ではありません。主にモデルの読み込みや管理を考えた構成です。

ComfyUIの生成物だけを別ドライブへ保存したい場合は、起動時の–output-directoryで出力先を変更できます。実際にComfyUI本体・モデルをSSD、画像・動画・音楽を別ドライブへ分けている設定方法はこちらで紹介しています。

ComfyUIの保存先を変更する方法｜画像・動画・音楽を別ドライブへ保存

初心者は何から試すのがおすすめ？

ComfyUIを入れたら、最初から複雑なWorkflowを作ろうとしなくて大丈夫です。

まずは「テンプレートを参照」を開き、自分が作りたいもののカテゴリから1つWorkflowを選んでください。

画像を作りたいなら画像、動画ならビデオ、音楽ならオーディオという形で入れば分かりやすいです。

ただし、テンプレートを開いたら「これはローカルWorkflowか、API / Partner Node系Workflowか」を一度確認することをおすすめします。

自分のPCだけで生成したいなら、モデル読込ノードや必要な.safetensorsなどが表示されるローカルWorkflowを選びます。外部サービスも利用してよいなら、API系Workflowも選択肢になります。

私が実際に試した中では、ACE-Step 1.5のAIO版はモデルが1ファイルにまとまっており、不足モデルもComfyUI側で確認できたので、「テンプレートを使ってローカル生成AIを動かす」というComfyUIの流れを体験する題材として分かりやすいと感じました。

ACE-Step 1.5をComfyUIで実際に動かす手順はこちら

専用環境を増やすよりComfyUIへまとめられるのが便利

これまでローカル生成AIを試すときは、モデルごとに専用Portable版やPython環境を作ることも多くありました。

専用UIには専用UIの使いやすさがありますが、モデルが増えるほどPython環境や依存関係、起動方法、保存場所も増えていきます。

ComfyUIで対応しているローカルモデルなら、ComfyUIという共通環境の中へWorkflowとモデルを追加していく形にできます。

さらに必要であれば、同じComfyUI上からAPI / Partner Node系Workflowを使って外部モデルへアクセスすることもできます。

つまりComfyUIの便利さは、単に「ローカルAIを1つにまとめる」だけではなく、ローカルモデルと外部APIを含むさまざまな生成処理を、同じノード・Workflowという考え方で扱えることにもあります。

一方で、モデルによって必要VRAMや導入方法は違いますし、APIサービスではネット接続やクレジットが必要になる場合があります。専用UIでしか使えない機能もあります。

そのためすべてを無理にComfyUIへ統一するのではなく、ローカルで扱いやすいものはComfyUIへまとめ、APIを使うものは外部処理だと理解したうえで使い、専用環境の方が便利なものは使い分けるのが現実的です。

まとめ

ComfyUIは画像生成だけのツールではなく、画像・動画・音楽・音声・3Dなど、さまざまな生成AIのWorkflowを扱える環境です。

そして今回特に押さえておきたいのは、ComfyUIはローカル生成AI専用のツールではないという点です。

PC内にモデルを保存して自分のGPUで動かすローカルWorkflowに加えて、外部サービスへAPI経由で処理を依頼するPartner Node・API系Workflowも扱えます。

また、私が確認した現在のテンプレート一覧では、一覧画面を見ただけでローカルかAPIかを一律に判別できるわけではありません。

そのため初心者は、

「テンプレートを参照」から作りたいWorkflowを開く
ローカルモデル読込なのか、API / Partner Nodeなのか確認する
ローカルなら必要なモデルを正しいmodelsフォルダへ用意する
必要なプロンプトや設定を変更する
実行する

という流れで始めると分かりやすいと思います。

特に「自分のPCだけで生成したい」という場合は、テンプレートにある＝ローカル生成できるとは決めつけず、Workflowを開いたあとに使用方式を確認するのが大切です。

このブログで紹介しているKrea-2画像生成、Wan2.2 5B動画生成、ACE-Step 1.5音楽生成は、いずれも実際にWindows PCへモデルを置いてローカル生成した例です。

今後も、ローカルで動かしたものとAPIを利用するものを区別しながら、ComfyUIで実際に試したWorkflowを紹介していく予定です。

画像・動画・音楽を生成できるComfyUIとは？WindowsローカルAIを初心者向けに解説