第1回ワークショップ　作品発表（TOPPAN研究者：中島 次郎）

こんにちは。TOPPANデジタル中島です。

TOPPANデジタルでは、生成AIに関する様々な取り組みを行っております。
その中でも新たな試みとして立ち上げたのが、CHAOSRU INC. と共同で展開する実験プロジェクト『TOPPAN GENERATIVE TRIAL』です。
これまでの記事で、プロジェクトの詳細、2024年8月8日に開催されたワークショップのレポートをお送りしました。

【TOPPAN GENERATIVE TRIAL#1】WELCOME
【TOPPAN GENERATIVE TRIAL#2】第1回ワークショップ開催レポート
【TOPPAN GENERATIVE TRIAL#3】AIと模索する新たな創造性
【TOPPAN GENERATIVE TRIAL#4】生成AI×エンタメの未来
【TOPPAN GENERATIVE TRIAL#5】将来のクリエイティブワークフローを探る
【TOPPAN GENERATIVE TRIAL#6】エンジニアは映画を作れるか

今回の「TOPPAN GENERATIVE TRIAL#7」では、ワークショップの詳細レポート第5弾として私、中島が発表を紹介します。

【発表者紹介】TOPPAN研究者：中島 次郎

TOPPANデジタル株式会社 所属。CG研究・インタラクション研究を経て、画像生成AI研究に従事。実世界とのインターフェースを伴う生成AIの利活用を研究。画像生成AIに関係する研究として、4DFF2024にて「画像生成制御により認識機能を付与した意匠性のある立体造形検証」を発表、CEATEC2024にて「AIプロジェクションマッピング」として出展。

【発表内容】架空の村のプロモーション動画

生成AIを使っていると、プロンプトの制御が難しく、思い通りの映像を作るのがなかなか大変です。特に動画生成AIでは、人物の動きに違和感が出やすく、見る人がその違和感にすぐ気づいてしまいます。そこで今回は、プロンプト調整による試行錯誤をなるべく減らし、高品質な映像を作ることをメインコンセプトに、人物の生成を避け、背景やエフェクトにフォーカスした制作を行う方針にしました。
個人的にも動画生成AIの強みは風景やエフェクトの生成にあると感じており、今回はその確認も兼ねた検証でもあります。
こちらに発表した動画を公開しています。

動画制作の流れ

具体的な動画制作と使用ツールは次の通りです。

①コンセプト生成
架空の村のコンセプトを「ChatGPT」で生成しました。所在位置、観光スポット、イベント、食事、特産物といったような、実際の観光地で特徴となる情報を生成する指示を入力し、何パターンか生成してよいものを選択しました。ChatGPT等の大規模言語モデルは、漠然としたイメージの具体化やアイデア発想の支援において有用であると考え、コンセプト生成で使用しました。
②カット言語イメージ生成
映像化するにあたり、どのようなシーンがあればよいか，言語によるイメージをChatGPTにより生成しました。1で生成した村をプロモーションするCM用のカットを考えてもらう指示を入力し、カット言語イメージを複数出力しました。
③カット初期画像生成
生成したカット言語イメージの初期画像を画像生成AI「Stable Diffusion XL（SDXL）」で生成しました。2で生成したカット言語イメージからChatGPTで画像生成用のプロンプトを生成する指示を入力し、各カットの画像生成用プロンプトを生成しました。画像生成用プロンプトからSDXLにより各カットの初期画像を生成しました。画像生成モデルとしてはSDXL以外や他ツールもありますが、ローカルで環境構築済みであり他技術と組み合わせて使いやすいという点からSDXLを使用しました。
④カット生成
各カットを動画生成AI「Runway」で生成しました。3で生成した各カットの初期画像を入力とし、Runway Gen3-alphaの機能であるimage2videoにより、各カットの動画を生成しました。動画生成用プロンプトはRunwayのプロンプトガイダンスを参考にし、ChatGPTによりカメラワークなどを指定して生成しました。動画生成は何パターンか生成してよいものを選択しました。Runwayは比較的高品質に動画の生成が可能なツールの1つであることから今回使用しました。
⑤編集
各カットの動画を手動で組み合わせて1つのプロモーション動画を完成させました。映像構成や表示する文字などをChatGPTで考えてもらうことも行いましたが、いまひとつだったため参考程度にしつつ自分で構成していきました。

映像制作における生成AIの展望

ローカライゼーションモデルの重要性

本作品では、日本にある架空の村を想定しましたが、画像生成用プロンプトで「Japan」と指定しても、中国風の要素が混ざってしまうことが多く、理想の日本らしさを再現するのが難しいと感じました。SDXLのベースモデルによっては多少日本らしい雰囲気を出すことはできますが、これも完璧ではありませんでした。このことから、地域固有の文化や風景を正確に再現するためのローカライゼーションモデルの重要性が浮き彫りになっています。

プロンプトをいちから作るのは難しい

画像生成用プロンプトや動画生成用プロンプトをいちから作成するのは非常に難しく、プロンプトのお作法や効果のある単語を調べて入力していくのは大変です。そこでChatGPTを活用したジェネレータ（検索するといくつか出てきます）を使用したところ、このような作業をしなくてもある程度イメージに近い結果を得ることはできました。日本語入力で英語のプロンプトを出力することができる点も使いやすいです。しかし、まだまだ完璧とはいえず微調整が必要なのが現状です。また、一発で理想の出力を得ることは画像生成AIの性質上難しく、大量に画像を生成した上でイメージに近いものを選択するというやり方は避けて通れないです。画像生成の高速化や精度（品質）向上も重要ですが、プロンプト入力から出力画像選択までをサポートするようなインタフェースの工夫やワークフローの改善なども課題があると考えています。

ある程度までできた画像からブラッシュアップできるとよい

生成された画像を元に、3D化してからオブジェクトの配置やカメラ位置を後から変更できるツールがあれば、さらに柔軟な映像制作が可能になり、映像制作者のイメージをより詳細に反映できると思います。特に、エフェクトや複雑な構図を持つ映像の場合、3D化後の微調整は映像のクオリティを大幅に向上させることができると考えています。生成画像の3D化技術も進歩しているため、このような機能を持ったツールは今後出現してくると考えています。

生成AIの使いどころ

映像生成において、生成AIは特に「0→1」の段階で大きく役立ちます。初心者でも簡単に初期のイメージを作り出せるのが魅力です。ただし、そこから「1→10」へと仕上げていくためには、現状では人の手による修正が必要になります。
映像の品質に着目すると、生成AIは霧や水といったエフェクトの表現が優れており、これらを画像フィルタのように簡単に映像に組み込めたり、物理的に正しい表現が可能になったりすると、さらに使い勝手が良くなりそうです。
また、映像のプロが行うような画面の遷移や文字の表示といった細かい構成に関しては、知識が求められる部分です。これらのスキルがあれば、生成AIをもっとうまく活用して、さらにプロフェッショナルな映像を作り上げることができるかもしれません。
今回は、架空の村をプロモーションする動画の制作を試みましたが、プロモーション用途以外にも、生成AI技術は活用できると考えられます。例えば、地域コミュニティのプロモーションや、建設プロジェクトのビジュアル化などにも応用できそうです。また、商品やサービスのプロモーション映像の作成にも活用可能で、風景やエフェクトを中心に構成することで、感覚的な価値を伝えることができるかもしれません。

次回は、第1回ワークショップの最後の登壇者「酒井修二」による記事を掲載予定です。どうぞご期待ください！

会場と協力について

本イベントは、XRコミュニティ「Beyond The Frame Studio」と「NEUU」の協力を得て開催されました。

NEUU
XR技術の常設体験施設です。XR作品の展示や、イベントや映画祭の企画・開催をされています。
https://neuu.jp/

Beyond The Frame Studio
XRに特化した国際映画祭「Beyond the Frame Festival」をきっかけに誕生したコミュニティです。XRコンテンツ制作に関心があれば、初心者からプロまで参加が可能です。
https://btffstudio.com/

【メンバー募集】生成AI x クリエイティブの未来を一緒に探りませんか？

現在、生成AIに関するディスカッションや、実際に手を動かして検証を進めていけるメンバーを募集しています。コミュニティには約60名のメンバーが参加しており、グラフィック、映像、XRなど、さまざまなジャンルで活動するクリエイター、エンジニア、研究者が集まっています。

生成AIは、あらゆるクリエイティブ活動に大きな影響を与える可能性を秘めています。私たちは、実際にコンテンツを制作しながら、AIの現地点や未来について議論を深め、共に探求しています。生成AIに興味があり、一緒に学び、成長しながら新しい表現の形を追求したい方は、ぜひご参加ください。途中参加も大歓迎ですので、気軽にご参加いただけます。

なお、参加にはDiscordへの登録が必要です。詳細はDiscord内でご確認いただけますので、まずはご登録ください。