第1回ワークショップ　作品発表（TOPPAN研究者: 波多野 亮平）

こんにちは。TOPPANデジタル波多野です。

TOPPANデジタルでは、生成AIに関する様々な取り組みを行っております。
その中でも新たな試みとして立ち上げたのが、CHAOSRU INC. と共同で展開する実験プロジェクト『TOPPAN GENERATIVE TRIAL』です。

これまでのDX noteにて、プロジェクトの詳細、2024年8月8日に開催されたワークショップのレポートをお送りしました。

【TOPPAN GENERATIVE TRIAL#1】WELCOME
【TOPPAN GENERATIVE TRIAL#2】第1回ワークショップ開催レポート
【TOPPAN GENERATIVE TRIAL#3】AIと模索する新たな創造性
【TOPPAN GENERATIVE TRIAL#4】生成AI×エンタメの未来
【TOPPAN GENERATIVE TRIAL#5】将来のクリエイティブワークフローを探る

今回の「TOPPAN GENERATIVE TRIAL#6」では、ワークショップの詳細レポート第4弾として私、波多野が発表を紹介します。

【発表者紹介】TOPPAN研究者：波多野 亮平

TOPPANデジタル株式会社 所属。AI・ディープラーニング研究を専門に、画像生成AI研究に従事。コンテンツ制作向けの生成AIを研究。

【発表内容】エンジニアは映画をつくれるか？

まず、意識したのは、生成AIを「人間の能力を拡張するためのツール」として使うことです。AIはあくまで補助的な役割であり、クリエイティブな表現は人間の力が必要です。そこで、私はAIと協力しながら、自分の表現を磨いていくというスタンスで、夏目漱石の「夢十夜」をもとに短編映画の制作に取り組みました。
こちらに発表した動画を公開しています。

御覧になるとわかるように、最終的に映像は未完成のままとなってしまいました。ここからは開発フローと共に、どのような壁にぶつかったのかを紹介していきます。

動画制作のワークフローと使用ツール

ここで、私が実際にどのように作業を進めたか、ワークフローを紹介します。

シーン・カット割り検討

夢十夜のストーリーをChatGPTと私で共有した状態で、シーンの流れや重要なカットを対話的に検討していきました。

プロンプト生成

動画生成に必要な２種類のプロンプトを準備します。１つはMidjourneyで動画の基となる画像を生成するためのプロンプト、もう１つはRunway Gen-3でImage to Videoを行うためのプロンプトです。この作業もChatGPTを使い対話的に進めていきます。

ここではカット割りに沿ったプロンプト生成の他に、登場人物のイメージを決定するためのプロンプトも検討します。

画像生成

Midourneyを活用して、動画の基となる画像を生成します。生成された画像が思い描くシーンに合っているか、他の画像とバランスが適切かを確認しつつ、必要があればプロンプトを調整しながら作業を進めます。

動画生成

Runway Gen-3 の Image to Video を使って、生成した画像を起点に動画を生成します。画像生成と同じく生成結果を確認しながらプロンプトを調整し、できる限り理想に近い映像を目指します。

編集

動画ができたら、Premiereを使った編集を行います。シーンのつなぎ方やカット割り、タイミングの調整をChatGPTのサポートを受けながら試行錯誤し、映像を仕上げていきます。

生成AIの現在地と展望

制作過程を通じて、AIと協力することで新しい表現方法に挑戦できました。特に背景やオブジェクト、人間の表情や所作の表現に進化を感じました。

その一方で、人物の表情や動きといった繊細な演技、カメラワークや照明環境といった演出の制御といった、意図した画を正確に生成するという難しさは依然として残っています。

キャラクターの一貫性

Midjourneyは、キャラクターやスタイルを参照する機能があり、今回の制作でもその機能を利用しました。大まかな雰囲気は継承できるものの、細部には少し違和感の残る結果となりました。

意図したシーンをつくる難しさ

プロンプトだけで、人物の位置関係や表情などあらゆることを、完全に制御することはまだまだ難しい面があります。特に複数のキャラクターを登場させたいとき、Midjourneyだけでは、まだ実現が難しいと感じます。しかし、この点に関しては解決を試みている論文なども提案されているため、今後ツールに組み込まれることが期待されます。

動きの一貫性

Runway Gen-3 は人物やオブジェクトの動きの自然さが増したと感じます。しかし、画像と同じく一貫性という面から見ると、課題の残る結果となったと感じます。
当日のワークショップにて他の登壇者の方も触れていましたが、顔つきが徐々に変わってしまうというケースや、私のケースでは意図しない照明環境の変化が生じていました。

生成例）男性の顔を徐々に西洋人風に変化

生成例）照明環境が変化

意図した動きをつくる難しさ

また、一貫性だけでなくこちらがプロンプトで示したつもりの意図通りに動きを生成してくれないというケースも目立ちます。下の生成例は、『真珠貝で穴を掘った。』という描写を含む情景の生成を試みた結果ですが、人物が動いてしまったり、貝は描写しているものの、違う道具を使って土を掘り返しています。

こうした意図通りの演技や動きの指示を実現できるのか、というところにもまだまだ障壁はあり、今後のテーマとして注目したいところです。

生成例）男性が穴を掘る動きをしない

生成例）貝以外のもので穴を掘る

ヒトとAIが歩むクリエイティブの未来

現在のAIツールは、同じプロンプトでも異なる結果が生成されることが多く、ガチャ的な要素がまだ残っています。しかし、生成AIの進歩はとても早く、日々新しい手法が提案されています。今後、さらに技術が進化すれば、AIとの協力によってもっと高度なクリエイティブが実現できるかもしれません。私も映像完成を目指しつつ、最新の技術を取り入れ、トライ＆エラーを繰り返してより良い作品を目指していきたいと思います！

今後も、ワークショップの他の登壇者による記事を掲載予定です。さまざまな視点からのレポートをお届けするので、ご期待ください！

会場と協力について

本イベントは、XRコミュニティ「Beyond The Frame Studio」と「NEUU」の協力を得て開催されました。

NEUU
XR技術の常設体験施設です。XR作品の展示や、イベントや映画祭の企画・開催をされています。
https://neuu.jp/

Beyond The Frame Studio
XRに特化した国際映画祭「Beyond the Frame Festival」をきっかけに誕生したコミュニティです。XRコンテンツ制作に関心があれば、初心者からプロまで参加が可能です。
https://btffstudio.com/

【メンバー募集】生成AI x クリエイティブの未来を一緒に探りませんか？

現在、生成AIに関するディスカッションや、実際に手を動かして検証を進めていけるメンバーを募集しています。コミュニティには約60名のメンバーが参加しており、グラフィック、映像、XRなど、さまざまなジャンルで活動するクリエイター、エンジニア、研究者が集まっています。

生成AIは、あらゆるクリエイティブ活動に大きな影響を与える可能性を秘めています。私たちは、実際にコンテンツを制作しながら、AIの現地点や未来について議論を深め、共に探求しています。生成AIに興味があり、一緒に学び、成長しながら新しい表現の形を追求したい方は、ぜひご参加ください。途中参加も大歓迎ですので、気軽にご参加いただけます。

なお、参加にはDiscordへの登録が必要です。詳細はDiscord内でご確認いただけますので、まずはご登録ください。