画像生成AIのMidjourneyが、新たな機能「Patchwork」を発表しました。
このツールは、AIの力を借りて一貫した独自の世界観を作り出すことができるワークスペースのようなものです。また、複数のユーザーが協力して作業することも可能です。
Patchworkとは
Patchworkは、言語モデルと画像生成モデルを組み合わせた実験的なマルチプレイヤーワールド構築ツールです。このツールを使うことで、ユーザーは漠然としたストーリーのアイデアをより具体的な形に発展させたり、他のユーザーと協力して一貫性のある設定を作り上げたりすることができます。
主な特徴
- 共有キャンバス: 1つのボードに最大100人のユーザーがアクセスでき、リアルタイムで協力して創作活動を行えます。
- AIによる支援: テキストプロンプトから画像を生成したり、キャラクターの特徴を自動で作成したりと、AIが創作プロセスを強力にサポートします。
- 多様な要素の追加: キャラクター、イベント、場所、小道具などさまざまな要素をツールボックスから追加できます。
- スタイル参照機能: 気に入った画像からスタイル参照を作成し、世界観に一貫性を持たせることができます。
- 柔軟な編集: 「Tell Me More」機能を使って特定の要素を掘り下げたり、「Paint」アクションでキャラクターの画像を生成したりできます。
使い方
公式サイト
https://patchwork.midjourney.com
Patchworkを使用するには、Googleアカウントを連携させる必要があります。
使用の流れは以下のようになります：
- 白い無限キャンバス上で、左側のツールボックスから様々な要素を追加します。
- エディターバーにテキストプロンプトを入力し、10種類の画像スタイルから選択します。
- 生成された画像や設定を元に、さらに詳細な世界観を構築していきます。
- キャラクターボックスを追加し、名前や特徴をAIに生成させることもできます。
- キャラクター間の関係性を設定したり、アクションシーンや場面描写を書き加えたりして、物語を発展させていきます。
という感じで使っていくらしいのですが、まずは使い方を知る必要があります。
公式チュートリアル動画は英語だったので、タイムラインにそって日本語訳してみました。日本語訳を参照しつつ動画を見てみてください。
公式チュートリアル動画日本語訳
00:00:03:20 – 00:00:26:18
Patchworkへようこそ。Patchworkは世界観を構築するためのツールキットで、画像やテキストの小さな断片を組み合わせることで、新しいフィクションの世界を作ることができます。メインのインターフェースは無限のキャンバスです。このキャンバス上で、テキストや画像を生成、整理、修正して、徐々に一貫性のある物語世界を構築できます。予想通り、クリック＆ドラッグでキャンバスを移動したり、ズームイン/アウトして一度に表示する内容を調整したりできます。
00:00:26:21 – 00:00:48:03
キャンバス上のほとんどすべてのものが「スクラップ」です。このようにスクラップをクリックすると、選択して移動することができます。選択したスクラップの上部にはアクションバーが表示されます。左上にそれが表示されているのが分かります。このアクションバーでは、スクラップごとに実行できる様々なアクションを提供します。例えば、これらのいずれかをクリックすると、その特定の画像で何が起こっているのかについて詳しく説明されます。
00:00:48:05 – 00:00:57:17
スクラップが不要な場合は削除できます。また、Ctrl+Zで最近実行した操作を元に戻すこともできます。
00:00:57:19 – 00:01:17:21
画面の左側にはツールボックスがあります。これには、キャラクターや場所、相互作用など、物語世界に存在する新しい要素を作成するためのツールが多数用意されています。また、新しいメモや画像を作成するツールもあります。これについては後ほど詳しく説明します。今から実際に、ツールボックスからポータルボタンを押し、キャンバス上の配置したい場所をクリックしてポータルを作成します。
00:01:17:23 – 00:01:33:28
このポータルで新しい世界を作ることができます。では、中に入ってみましょう。これが世界の初期化モーダルです。この画面では、作成する世界の大まかな前提を選択できるほか、この世界のスタイル参照や、表現したい全体的な雰囲気を設定できます。
00:01:34:00 – 00:01:59:01
ここではいくつかの操作が可能です。1つは、このサイコロアイコンをクリックして、作成しようとしている世界のインスピレーションとなるものをシャッフルすることです。これは、何を作ろうとしているか分からない場合に便利です。また、ランダムに選択されたスタイル参照コードのリストを見て、特に興味深いと思うものを選び出し、作成する世界に組み込むこともできます。
00:01:59:03 – 00:02:14:23
これを選んでみましょう。「Show Me More」をクリックしてさらにいくつかの選択肢を表示します。このピンク色が気に入りました。「ホログラムが住む廃墟の町」というプレミスを選んでみます。これは今まで試したことがないので、どうなるか見てみましょう。ここではとても鮮やかな雰囲気にしてみます。
00:02:14:23 – 00:02:32:14
完全に抽象的にするかどうかはまだ決めていませんが、このオレンジとピンクの組み合わせが気に入りました。特にこちらの、背景に柔らかく溶け込むようなピンク色が素敵ですね。この2つを使って進めていきましょう。パーソナライゼーションを使用するチェックボックスもオンにしました。
00:02:32:16 – 00:02:51:05
これは、十分な画像評価が行われたパーソナライゼーションコードをお持ちの場合に利用できる機能です。コードをお持ちでない場合はこの機能は使用できませんが、選択したスタイル参照に基づいて世界のスタイルは設定されます。では、「Create World」をクリックしましょう。
00:02:51:08 – 00:03:12:11
初期化には少し時間がかかりますが、この初期設定のプレミスを持つキャンバスが用意されます。左上には、世界そのものを表す「ワールドエンティティ」と、下にあるテキストの説明スクラップの両方があります。これらはどちらも編集可能です。
00:03:12:11 – 00:03:28:13
必要に応じてこの世界の名前を変更できます。ここで下の説明を残したまま「tell me more」ボタンをクリックすると、自動的に名前が提案されます。システムはこの世界を「シミュラクルム・ホロ」と呼ぶべきだと提案しています。気に入ったのでこのままにしておきましょう。
00:03:28:15 – 00:03:43:17
選択したスタイル参照が実際にスクラップとして世界に組み込まれているのが分かります。各スクラップの左下には「エンティティハンドル」があり、これはワールドエンティティにリンクされ、システム上でそのエンティティの一部とみなされていることを示しています。
00:03:43:19 – 00:04:04:16
このエンティティをダブルクリックすると、関連するすべてのスクラップが選択されます。今のところ、この世界のすべてのものが相互にリンクされています。なぜなら、これらはすべて、スタイル参照と、こちらにあるパーソナライゼーションを使用して生成された画像だからです。これらは、世界そのものというエンティティの視覚化として機能しています。ズームインして、気に入ったものとそうでないものを確認できます。
00:04:04:18 – 00:04:18:28
すべてに興味深いピンクとオレンジの美的要素が含まれています。また、これらのうちの1つがエンティティのポートレートとして使用されているのが分かります。
00:04:19:00 – 00:04:33:09
これは世界のデフォルトの視覚化で、他のスクラップの隅に表示される小さなサムネイルやプレビューに使用されます。これらすべてがリンクされて、この設定の全体的な雰囲気を作り出しています。次に気付くのは、左側にツールボックスがあることです。
00:04:33:15 – 00:04:48:02
繰り返しになりますが、これは様々なタイプの新しいエンティティを作成するために使用できるものです。ワールドエンティティは削除できませんが、他にも作成や削除が可能な要素が多数あります。物語に起こりうることのインスピレーションを得たい場合に、これらを使用できます。
00:04:48:04 – 00:05:06:09
ここでキャラクターを選択し、配置したい場所をキャンバス上でクリックします。まだこのキャラクターについての情報はなく、この設定で何をしようとしているのかもはっきりしていません。そこでエンティティ自体の「tell Me More」を使用して、名前と可能な経歴を自動的に設定してみましょう。
00:05:06:15 – 00:05:27:25
アマラ・イヴォンという名前のキャラクターが生成されました。彼女は回復力があり、資源豊かな歴史家で、ホロの謎を解明することに取り憑かれています。彼女は世界の裏にある秘密を探していますが、この町が静かなままであることを望む人々と対立する可能性があります。おそらく町の住民自身も、彼女が探りを入れて真相を突き止めようとすることを望んでいません。
00:05:27:29 – 00:05:45:01
これは面白そうですね。では、彼女のポートレートを想像してみましょう。ここで行ったのは、テキストの説明スクラップで「paint」インタラクションを押し、ドラッグして、このキャラクターのポートレート用の「画像構築サイト」を作成したことです。
00:05:45:03 – 00:06:15:14
画像構築サイトには、描画したテキストの説明から生成されたプロンプトと、世界のデフォルトスタイル参照、そして私のパーソナライゼーション（ワールドエンティティにアタッチされているためデフォルトで適用される）が含まれています。そしてもちろん、描こうとしているキャラクター、アマラ自身も含まれています。これらすべてが材料として使用され、このプロンプトと組み合わさって、すべてを混ぜ合わせて画像を作成します。
00:06:15:17 – 00:06:34:09
では、このバッチを描画してみましょう。このキャラクターの可能性のある異なる視覚化がいくつか表示されます。これらすべてがデフォルトでアマラ・ヴィランというエンティティにリンクされています。これらのポートレートの左下にある赤い要素で、特定のキャラクターの視覚化であることが分かります。
00:06:34:11 – 00:06:54:27
これらはすべて興味深いシルエットのキャラクターですね。これが最も実在感のあるものなので、おそらくこれをキャラクターリファレンスとして採用します。この同じヘアスタイルも気に入ったので、偶然ですがこれも残しておきましょう。
00:06:54:27 – 00:07:12:15
これら2つは削除するか、あるいはリンクを解除して、そのキャラクターの一部ではなくすることもできます。ただし、将来のインスピレーションとして世界内に残しておきたいと思います。おそらくこの女性は別のキャラクターかもしれません。
00:07:12:18 – 00:07:27:29
物語の後半で、これらの画像に基づいて展開される何か別のものがあるかもしれません。まだそれが何なのかは分かりませんが。とりあえず、これをアマラの正式なポートレートとして使用し、こちらは代替ポートレートとしましょう。システムがこのキャラクターリファレンスをどのように活用できるか見てみましょう。
00:07:28:01 – 00:07:44:23
これで、この人物のデフォルトの外見と基本的な説明ができました。では、2人目のキャラクターのインスピレーションを得てみましょう。アマラと対立する可能性のある、町の人々を代表する人物や、彼女が秘密を探り出すことを望まない人物を探してみます。
00:07:44:25 – 00:08:03:04
ここに、元軍事写真家で現在はサバイバリストの隠遁者というキャラクターが登場しました。彼女は部外者を信用せず、意図的に隔離された生活を送っています。アマラはこの町にやってきて、探りを入れる質問をすることで状況を乱すことになります。一方、アイオナは秘密を守ろうとし、それらを明かしたくないと考えています。
00:08:03:07 – 00:08:28:10
彼女も同様にテキストの説明を使って描いてみましょう。画像の形を変えることもできます。横長のポートレートを試してみましょう。描画を開始します。これらもすべてリンクされているのが分かります。その間に、キャラクターが行くかもしれない場所、この世界の小さな部分を提案してみましょう。
00:08:28:13 – 00:08:50:05
廃墟となった劇場が出てきました。面白いですね。もう1つ、荒廃したオペラハウスも試してみましょう。これらは良いですね。パフォーマンスというテーマが暗示されていて、それは興味深いと思います。最初の「ホログラムが住む廃墟の町」という設定にはなかった要素ですが、これを活かしていきたいと思います。
00:08:50:07 – 00:09:21:22
これらのキャラクター画像を見ると、ほとんどが後ろ姿で写っています。これは時々、人々が歩き回るようなシーケンスの画像として興味深いものになります。彼女が遠くにいて背景に溶け込んでいるこの画像を残し、おそらくバックパックを背負っているように見えます。これらは削除して、代わりにゼナが森を歩き、こちらに見える目的地の1つに向かうような小さな画像シーケンスを作ってみましょう。
00:09:21:25 – 00:09:48:04
この廃墟となった劇場について、どんな感じになるか素早く描いてみましょう。荒廃したオペラハウスも同様です。これは横長に描いてみようと思います。できあがったものの中から気に入ったものを見つけましょう。さて、その間に、特定のキャラクターの画像があり、特にそのキャラクターにポートレートがリンクされている場合、ここにあるこのボタンをクリックすることができます。
00:09:48:07 – 00:10:04:00
このリペイントボタンで、以前と同じ要素を使って新しい画像構築サイトを作成できます。ご覧の通り、これらはすべて再びリンクされています。デフォルトのサイトリファレンスと、このゾーナ・デル・マーというキャラクターがあります。彼女にはポートレートがあるので、これらがキャラクターリファレンスとなり、さらに彼女の画像を描くことができます。
00:10:04:03 – 00:10:31:21
「文明から遠く離れた場所を歩く」といったシーンを作ってみましょう。ハイキングコースを歩く彼女の姿といった感じのものを作れるかもしれません。さて、廃墟となった劇場については、ここではほとんどが内部の様子が描かれています。この見た目は気に入りました。
00:10:31:24 – 00:10:51:11
私が求めている雰囲気と合わないものは削除します。そしてこの角では、これらを劇場の外観として使おうと思います。というのも、これらはほとんどが外観を捉えたもので、いくつか気に入ったものがあるからです。これらの画像のほとんどを削除します。
00:10:51:11 – 00:11:08:26
このエンティティ自体を完全に削除します。これにより、それに付随するものもリンクが解除されます。その概念自体を削除するのです。ただし、このリンクアクションを使って、この画像を廃墟となった劇場にリンクさせます。これで劇場の2つの異なる視点、外観と内部の様子が見られるようになりました。
00:11:09:03 – 00:11:25:12
物語を作る際には、これらのいずれかを使って、このキャラクターが一つの場所から別の場所へ歩いていく様子を表現する画像のシーケンスを構築できます。いくつか気に入ったものがありますね。ゼナが森を歩いているシーンで、この画像では足や脚が少し奇妙です。
00:11:25:15 – 00:11:47:20
そしてすべての画像に、上から差し込む興味深い光があり、それが印象的だと思います。このシーケンスでは使用したくないのでこれはリンクを解除しますが、念のためにここに置いておきます。これで、ゼナがこれらの場所を順番に歩きながら、奇妙な出来事を観察していくような印象を作り始めることができます。
00:11:47:22 – 00:12:14:26
このような画像シーケンスでは、キャラクターの視点だけでなく、舞台設定の視点も加えると効果的です。例えば、「下生えは非常に密で絡み合っているが、奇妙な植物が上に伸びている」といった描写を加え、彼女が歩いている環境がどのように見えるか、興味深い視覚化ができないか試してみましょう。
00:12:14:29 – 00:12:48:04
そうそう、ちなみに小さな領域を描くつもりが1回クリックしただけでした。そうすると、デフォルトサイズの小さな画像スクラップができます。この画像では、「背景には奇妙なオベリスクが散りばめられた山々がある」という設定にしてみましょう。興味深い背景の風景が得られるか見てみましょう。もう1つ背景を作ってみます。
00:12:48:07 – 00:13:10:12
「鳥が飛んでいるが、その数はとても少ない」という設定で、リンクできる興味深い森のシーンのセットが得られるか見てみましょう。はい、背景に奇妙なオベリスクが見えてきました。
00:13:15:00 – 00:13:37:03
これらを配置していきましょう。これは他のものより少し抽象的で遠くに見えるので、このオベリスクを選びます。他のものはもう少し近くに見えます。植生の異なる視点がいくつかありますが、これはあまり好みではありません。これは彼女が後で洞窟に入るかもしれないような、興味深いものです。
00:13:37:05 – 00:14:01:12
こちらには鳥のシーンがあります。これはあまり良くありません。これも良くありません。でもこれはかなり印象的ですね。これは郊外や都会の環境のように見えるので、後で使うために取っておくかもしれません。そうですね、ゼナの一連の画像ができました。まず、カメラから遠い距離にいる彼女。
00:14:01:14 – 00:14:24:00
彼女が森を歩いています。彼女からズームアウトして、彼女が見ている景色が見えます。ここでは、背景にある奇妙なオベリスクのカットアウェイがあります。遠くには鳥がいて、何かが動いているような様子です。おそらく、この洞窟を通り過ぎた後、彼女は奇妙な建物を見つけることになります。
00:14:24:03 – 00:14:59:16
そして彼女が近づくにつれて、このデザインを作ってみましょう。神秘的な劇場の入り口を見ると、驚きです！これが森の真ん中にあるはずがないですよね？そして、以前作った劇場の外観の画像をこのスクラップの要素として追加します。ご覧の通り、要素として追加されました。
00:14:59:18 – 00:15:19:24
横長の形をしています。デフォルトのスタイル参照もまだあります。ゼナも直接追加します。この場合、テキストプロンプトに彼女の名前があるので、このキャラクター推論ボタンを使用できます。これで彼女がリンクされます。理論的には、劇場の入り口に基づき、すべてのスタイル参照とゼナ自身のポートレートを含む画像が作られるはずです。
00:15:20:01 – 00:15:44:25
では、これがうまくいくか見てみましょう。その間に、このシーケンスを物語としてつなげるために、ゼナの画像をもう1、2枚作ってみましょう。「彼女が小川を渡る。水は浅いが、速く流れている」というシーンを作り、小さな水たまりを踏み越えるような様子が描けるか見てみましょう。
00:15:45:00 – 00:16:06:03
これらをもっと上に置きましょう。彼女がこの奇妙な建物の入り口に立ち、「これは何をしているんだろう？」と思っている様子が見えてきます。これは気に入りました。彼女が建物に近づくにつれて、おそらくこれが次のシーンで、その後に彼女が実際に入っていくこのシーンが続きます。
はい、続けさせていただきます。
00:16:06:06 – 00:16:22:03
おそらくここのリズムが少しおかしいので、この真ん中の画像を削除したいところです。まだ決めかねていますが…削除することにします。代わりにこの画像を真ん中に使いましょう。他のものと似ているのでこれは消して、
00:16:22:06 – 00:16:52:09
これも消します。そして暗に彼女が中に入ることを選択する様子を表現します。さて、上の方には小川の真ん中にいる彼女がいます。これは気に入りました。この画像では実際に渡っているように見えます。そうですね、全体的に、ゼナが奇妙で超現実的な風景の中の森を歩きながら、見るべきものを目撃していく印象が得られています。
00:16:52:16 – 00:17:12:12
ほとんどモンタージュのような雰囲気になっています。彼女は小川に到達し、それを渡ります。おそらくそこには洞窟があり、最終的に彼女はこの奇妙な建物に辿り着き、中に入ることを決める前に入り口を見つめます。これが、このツールですでに作り始めることができる画像シーケンスによるストーリーテリングの一例です。
00:17:12:12 – 00:17:27:24
このような物語のシーケンスを展開してみるのは本当に面白いと思います。異なる美的要素は異なる効果を生み、必ずしも素晴らしい結果が得られるとは限りません。しかし、今のところの出来には満足しています。これが続けていくとより長く、より手の込んだ物語になっていくのは間違いないでしょう。
00:17:28:00 – 00:17:44:00
他にもいくつか可能な操作をお見せしましょう。これまでエンティティの作成、要素のリンク、画像の作成を多く見てきましたが、ここではさまざまな種類のエンティティを作成できることを指摘しておきます。キャラクターや場所に加えて、物語で起こりうる出来事を表すイベントがあります。
00:17:44:03 – 00:18:01:04
キャラクターが見つけたり相互作用したりする可能性のある物品を表すプロップがあり、背後で動いている可能性のあるキャラクターグループを表すファクションもあります。必要に応じて、詳細を自動的に設定せずに新しいエンティティを作成することもできます。キャラクターではなく、イベントを作ってみましょう。
00:18:01:06 – 00:18:22:18
「森の中で奇妙な劇場を発見する」というデザインを作ります。これをイベントの説明テキストとして設定します。このイベントの名前は「劇場発見」とでもしておきましょう。そして、システムにこのイベントについての詳細を求めてみます。
00:18:22:19 – 00:18:38:23
ここに新しいテキストブロックが生成され、物語の次に起こりうることが示されます。「廃墟となった劇場を探索中、町の元々の住民による不気味なホログラフィック記録が保管された隠し部屋を発見する。この町は、かつては奇妙なホログラムの幽霊ではなく、本物の人々で溢れていた場所だったことが判明する。」
00:18:39:00 – 00:18:53:19
これが彼女が劇場で見つけるものかもしれません。物語が進む次の興味深い方向性ですね。このようなエンティティを部分的に設定することもできます。先ほど私がテキストを書き、名前を付け、そしてさらにイメージを広げたように。
00:18:53:22 – 00:19:14:01
キャラクターについても同様の設定ができます。例えば、「敵対者が必要」や「デザイナーが必要」といった感じでキャラクターを作り、エンティティ自体の「Tell me more」をクリックすると、デフォルトで名前が与えられ、さらに詳細を求めることができます。
00:19:14:04 – 00:19:31:07
ここでは、「シミュラクルム・ホロのホログラムの秘密の創造者で、人間の行動を研究する実験として町を使用している」という設定が出てきました。これは少しありがちで一般的ですが、いくつか生成して興味深いものを見つけ、気に入った部分を再利用できます。
00:19:31:09 – 00:19:47:05
一般的に、できるだけテキストを編集することをお勧めします。テキストを編集することは、システムに任せるだけでなく、自分のアイデアをシステムに取り入れる方法の1つだからです。では、これらを削除しましょう。このキャラクターは特に必要ありません。
00:19:47:07 – 00:20:08:21
このイベントは気に入ったので、次に起こることを覚えておくために、シーケンスの下の方に移動させます。全体を見渡すためにズームアウトしてみると、様々なことが起きていて、本格的な世界構築セッションを始めることも簡単にできそうですが、それには時間がかかるでしょう。
00:20:08:24 – 00:20:28:00
今の状態に満足しているので、共有タブをクリックしてこの世界を保護します。デフォルトでは誰でも編集可能で、ここまで来るために作成したポータルはロビーの世界や出発点とリンクしています。そこで、デフォルトで閲覧は可能だが編集はできないように設定します。
00:20:28:03 – 00:20:43:15
必要に応じて、この招待タブでMidjourneyのIDを使って人を追加することもできます。この動画では詳しく説明しませんが、ほとんどの人には閲覧のみ可能で、自分と一部の友人には編集も可能な世界を作りたい場合に使用できる機能です。
00:20:43:18 – 00:21:00:03
理論的には、これを「none」に設定することで完全にプライベートな世界を作ることもできます。今はそうしませんが、これも選択肢の1つです。これは研究プレビュー版なので、すべてが完全に保存される保証はありません。そのため、保存ボタンを押してこの世界のローカルバックアップも作成します。
00:21:00:09 – 00:21:17:00
これにより、作成したすべてのものを含むJSONファイルが生成されます。ここで生成したすべての画像はウェブサイトのギャラリーにあるので、そこから取得できます。しかし、スクラップやテキスト、これらの要素がどのように配置されているかという情報も、何らかの形でバックアップされます。
00:21:17:02 – 00:21:30:22
たくさんのことをお見せしましたが、実はまだ発見できることがあります。それらについてはFAQに譲ることにします。これがPatchworkの仕組みです。皆さんがこれで何を作るのか、とても楽しみです。ありがとうございました。
まとめ
Midjourneyの創設者であるDavid Holz氏によると、Patchworkは今後さらに進化を遂げる予定です。具体的には以下のような機能が計画されています：
- より詳細でインタラクティブな3D仮想シーンの実現（数年後の目標）
- 複数のパーソナライズドモデルモードの導入（近日公開予定）
- クリスマス後にビデオモデルと更新されたAI画像生成器V7の導入
- 3〜4つの新しいハードウェアプロジェクトの開発
また、MidjourneyのV7バージョンでは、異なる画像間でのキャラクターの一貫性が向上する予定です。
コメント