生成した画像が何かぼんやりとしているのはなぜ？
他の人が作ったみたいな鮮明なイラストを生成するには？
Stable Diffusionで画像を生成した時、このような疑問を持つ方も多いと思います。
この記事ではそのような疑問の解決策について解説します。
VAEとは
VAE（Variational Auto Encoder）とは、Stable Diffusionで画像を生成する時に、アシストしてくれるツールです。
ぼんやりとした画像を、くっきりとした鮮明度の高いものに変換してくれます。
VAEのダウンロード
今回は、Stable Diffusion公式で様々なモデルに適用可能なVAEである「vae-ft-mse-840000-ema-pruned」を使用します。
「CIVITAI」にアクセスしダウンロードします。
ダウンロードしたファイルは、自身のGoogle driveの「sd>stable-diffusion-weui>models>VAE」にアップロードしてください。
WebUIでの設定
「setting」→「stable diffusion」を選択します。
「SD VAE」の項目で、更新マークをクリックした後、プルダウンメニューを開きます。
先ほどアップロードしたファイル名が表示されますので、クリックして選択します。
選択した後、「Apply settings」をクリックして保存します。
「text2img」タブを選択して、画像生成画面に戻ります。
では、VAEなしとありでの画像生成の結果を比較してみます。
モデルは「Counterfeit-V2」を使用しています。
確かに、VAEありの方がディテールが描きこまれて鮮明度が向上しています。
モデルによっては、VAEが最初から含まれていたり、使わない方が良い場合もありますので、各モデルの説明文を確認するようにしてください。
VAEの種類について
Stable Diffusion公式のVAE
汎用的で様々なモデルに適用可能です。
ClearVAE
イラスト系向けのVAEです。ビビットやクリアさを抑えて透明感のある仕上がりとなります。
Counterfeit-V2.5
背景の描写が得意とされている、イラスト系のモデルConterfeitV2.5用のVAEです。
kl-f8-anime2
イラスト系向けのVAEです。ビビットで彩度高めの仕上がりとなります。
Anything-v4.0
イラスト系のモデルAnything-v4.0用のVAEです。
Stable DiffusionをFooocusで使う
通常、Stable DiffusionのインターフェースはAUTOMATIC1111ですが、SDXLを使うというのであればFooocusがおすすめです。
動きが軽く、操作もシンプルで、サクサク画像が生成できます。詳しくは下記の記事を参照ください。
プロンプトジェネレーターを作ってみました
Stable Diffusionなどの画像生成AIを使って、画像を生成する時には「プロンプト」と呼ばれるテキストを入力します。
自分が作りたい画像を説明したものになるのですが、英語の単語を連ねたもので単語同士はカンマで区切るルールとなっています。以下の様なものです。
“photo realistic, Japanese girl, looking at viewer, wavy hair, tank top, close up shot”
最初の頃は全く見当がつかないので、ネットで検索してそれらしいプロンプトを見つけてコピペして使うことになります。しかし、色々なバリエーションの画像を生成したい時に、このプロンプトをいちいち修正するのが面倒です。
また、プロンプトには、どのような単語をどのような順序で並べると思った通りの画像が出てくる、というテクニックが存在します。しかしながら、色々な人が様々なプロンプトについて語っていて、正直、情報が多すぎて全体が掴めない状況になっています。
自分で画像を生成しようとなった時に、そのような不便さを感じました。
なので、簡単なチェックでルール決めされたプロンプト文が出力されるサービスを作ってみました。
是非、一度試してみてください。
コメント
コメント一覧 （1件）
[…] Stable DiffusionでVAEを使って、鮮明度の高い画像を生成する方法 この記事で解決する疑問 […]