【AI映画制作講座】第7回：Runway Gen-3による動画生成

AI映画制作入門講座、今回は第7回目です。

「Runway Gen-3」を使った動画の生成について説明をしていきます。

第4回目で「Gen-2」による動画生成をやりましたが、今回「Gen-3 Alpha」という更にレベルアップしたバージョンが登場しましたので、こちらを使っていきます。

現時点ではスタンダードプラン以上のユーザが使用可能となっています。

「Gen-3 Alpha」の使い方：画像から動画を生成

Runwayのサイトに行きます。

「Get Started」をクリック。

「Gen-3 Alpha」の画面が開きます。

「Gen-2」にある「カメラコントロール」や「モーションブラシ」の機能はありません。しかし、近々実装されるのではないでしょうか。

では早速、動かしてみましょう。画像はこれを使います。

元画像

被写体の動きのみをプロンプト入れ、カメラの動きは省略します。

A white robot running away. A dog is chasing it from behind

日本語訳：逃げる白いロボット。後ろから犬が追いかけてくる。

Gen-2ではこんな走りはできなかったので、すごいものです。ロボットがあせって逃げている感じが伝わります。

「Gen-3 Alpha」におけるプロンプトの基本

プロンプトの基本構造は以下の通りです。

[camera movement]: [establishing scene]. [additional details].

日本語訳：[カメラの動きの説明]: [主要な被写体や焦点を当てる対象を説明]. [環境や設定に関する詳細を説明].

Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

日本語訳：ローアングルの静止画：色とりどりの植物が生い茂る熱帯雨林に佇む、オレンジ色の服を着た女性。ドラマチックな空は曇り空で灰色。

主なカメラワークについて

この画像を使って、様々なカメラワークを試しています。

プロンプトでは「Pan right: 」などカメラの動きのみを指定します。画像はこれを使います。

元画像

Zoom in/out

カメラの位置は固定で、レンズの焦点距離を変えて被写体の大きさを変える動きです。

Pan right/left

カメラの位置は固定で、水平方向へ回転させる動き。景色を見渡すような効果。

Dolly in/out

カメラを台車に乗せて前後に移動させる動き。被写体との距離感を変える。

Pedestal up/down

カメラを垂直に上下させる動き。視点の高さを変える。

その他のカメラワーク一覧

被写体を動かす

今度は被写体を動かしてみます。

カメラワークと組み合わせるとやたら動きがダイナミックになって映像が破綻する場合が多かったので、カメラを「Fixed camera: 」として生成します。

Fixed camera:
She smiles a little. The wind is blowing. Her hair flutters in the wind.

日本語訳：固定カメラ：彼女は少し微笑む。風が吹いている。彼女の髪が風になびく。

色々と試してみると、カメラワークと被写体の動きが関連していれば、いい感じになるようです。

Pedestal down:
She crouches down.

日本語訳：ペデスタルダウン：彼女はしゃがみ込む。

被写体の動作に追従してカメラが動いていきます。いい感じです。

プロンプトにおけるキーワード

カメラワーク以外にも動画生成においてキーワードとなる言葉がマニュアル内で示されています。

カメラスタイル

照明スタイル

動きの速度

動きの種類

スタイルと美学

文字スタイル