第1回ワークショップ　作品発表（クリエイティブディレクター：内藤薫）

こんにちは。TOPPANデジタルの酒井です。

TOPPANデジタルでは、生成AIに関する様々な取り組みを行っております。
その中でも新たな試みとして立ち上げたのが、CHAOSRU INC. と共同で展開する実験プロジェクト『TOPPAN GENERATIVE TRIAL』です。
これまでの記事で、プロジェクトの詳細、2024年8月8日に開催されたワークショップのレポートをお送りしました。

【TOPPAN GENERATIVE TRIAL#1】WELCOME
【TOPPAN GENERATIVE TRIAL#2】第1回ワークショップ開催レポート
【TOPPAN GENERATIVE TRIAL#3】AIと模索する新たな創造性
【TOPPAN GENERATIVE TRIAL#4】生成AI×エンタメの未来

今回の「TOPPAN GENERATIVE TRIAL#5」では、ワークショップの詳細レポート第3弾として、クリエイティブディレクターの内藤薫さんによる発表を紹介します。

【発表者紹介】クリエイティブディレクター：内藤薫

XR・バーチャルテクノロジーや生成AIといった最先端テックの技術力とデザイン力の2つを兼ね備えたクリエイティブ系企業、株式会社CHAOSRUのCEO。XR関連の海外映画祭への出展・受賞歴、講演歴多数。翔泳社のWEBマガジン「CreatorZine®」ではXRやAIに関する記事を執筆。XRやAIなど先端表現を駆使したクリエイティブ制作・研究開発・ツール開発を行う。今回、TOPPANデジタルとともに、TOPPAN GENERATIVE TRIALを主催。
イベントでは、広告ビデオや実写ドラマ、ミュージックビデオ、独創性の高いキャラクターを使ったアニメーションなど、多彩なテーマでの制作事例と、課題や将来性について発表されました。

【発表内容】将来のクリエイティブワークフローを探る

制作コンセプト、検証テーマ

今回のイベントでのご自身の目標は、ドラマ風、CM風、アニメなど様々なジャンルで試作をしながら横断的に次世代のフローを探っていくことだと内藤さんは語ります。そのため、これまで制作したことのあるジャンルから、ほぼ素人のジャンルまで、複数のジャンルの映像を試作したとのことでした。

動画制作のワークフローと使用ツール

今回、内藤さんは様々な動画を制作されましたが、基本的な大枠のフローはこの流れであるとのこと。ストーリーやコンセプトをもとに画像生成AI「Midjourney®」で大量の画像を生成。画像をもとに、動画生成AI「Runway Gen-3」のImage to Video機能を使用し、動画を生成。このほか、音楽やナレーションの生成にもAIサービスを活用。最後に、それらの素材を組み合わせて一つの作品に仕上げたとのことです。

発表作品①：ブランドビデオ風映像

発表作品②：実写ドラマ風映像

発表作品③：独創性の高いキャラクターを使ったMV

発表作品④：「注文の多い料理店」のアニメ映像化

生成AIを使ってみて感じる可能性と障壁

発表の中で、内藤さんは、各作品作りを通して感じた生成AIの可能性と障壁を考察されました。

１）従来フローだと作業時間がかかる演出表現

内藤さんは、従来の制作フローでは非常に難易度が高かったカットが、AIなら短時間で実現できると語ります。例えば、水中の中をマリモが浮遊して花の芽が出てくる映像や、花に覆われたビルの様子、複雑なCGアニメーションなどです。このような映像を人手で制作するとなると、非常に作業コストが高いものです。これらをプロンプトで生成できるというのが生成AIの可能性のひとつだといいます。

このような生成AIの利点は、これまで生まれなかった企画アイデア・発想につながるかもしれません。従来のフローでは、そもそも実現を想定していなかった表現が、無意識のうちに企画やアイデアから外されやすい可能性があります。ディレクターやクリエイターがAIを活用した新しい制作フローを習得し、これを基盤にした発想ができるようになることで、これまで無意識に排除されていた可能性がコンテンツとして実現されるかもしれません。それが、今後の文化醸成にとって重要な要素に繋がるのではないかと、内藤さんは語ります。

２）実写の人間のニュアンス感

AI技術の進歩に伴い、生成される人間の表情の自然さは大幅にアップしました。ちょっとした動き感やニュアンスがとても自然になったと内藤さんは語ります。実写撮影はロケ、キャスト・スタッフ手配など手間のかかるフローが多く、これがAIで置き換えられれば、生成AI利用の利点が大きいとのことです。

３）整合性の破綻、人間の意図の反映の難しさ

動画生成AIの性能が日々向上している一方で、まだ解決されていない課題もあります。例えば、顔つきが徐々に変わってしまうことです。特に独創的なキャラクターの場合は大きく破綻してしまうなど、技術的な課題はまだまだ多くあります。また、ドラマ風のものを作ろうと思うと、顔の表情やポーズなど微妙なニュアンスで伝わるメッセージは変わっていきます。こうした繊細な意図をAIのフローで実現できるのか、というところにも難しさを感じる面があり、今後のテーマとして注目したいところだと内藤さんは考えます。

4）最終レンダラーとしてのAIの可能性

今回内藤さんが作品を制作する中で、繊細な表情や光るような印象的な表現をAIが出力する時があったといいます。AIを映像の最終仕上げのレンダラーとして使う用途の可能性も感じられたとのことです。

3DとAIの組合せによるフローの可能性探索

今回、内藤さんは、3Dキャラクターを活用した制作フローにも挑戦されました。先述の通り、独創的なデザインでは安定した出力が難しく、特に同一キャラクターの横顔をプロンプトだけで正確に生成するのは困難です。これに対して内藤さんは、AIツールを使ってキャラクターを3D化し、静止画のカットは手動で3Dキャラクターを調整して作成することで解決を図ったとのことです。現在の動画生成AIでは難しい、カットをまたいだキャラクターの一貫性について、3Dデータを介することで、異なるカットにおいても同一のキャラクターで映像を作成することに成功したとのことです。このように、3Dキャラクターを活用した制作フローが、現状の生成AI活用において、有効打のひとつであると、内藤さんは考えます。

今後の展望と技術的な挑戦

AIを使用したクリエイティブ制作は、まだまだ進化の途中にあります。今後の課題は、AIが安定して意図した表現を出力できるようになること、そして独創性の高いキャラクターを継続的に生成する技術の向上だと内藤さんは考えます。

AIは、クリエイティブ業界における新たなツールとして重要な役割になり得るものですが、その可能性を最大限に引き出すためには、従来の技術との融合や新しいアプローチが不可欠です。より高度な表現を目指すため、引き続き検証や研究をしていきたいと、内藤さんは発表されました。

いかがでしたでしょうか。ここまで、内藤さんの発表を紹介しました。

発表に対する筆者（TOPPAN技術者）の感想

内藤さんの発表は、作品のクオリティの高さに驚くとともに、様々な角度から生成AIの可能性や課題を整理されており、技術者として、非常に興味深いものでした。特に、生成AIの“可能性”について、クリエイター視点で整理されていたのが、非常に勉強になりました。我々技術者は、生成結果のどこが違和感出やすいとか、現状の技術だとこういうことができないなど、生成AIの“課題”に着目しがちです。これに対して、内藤さんの発表では、こういうカットは現状でも使えるものだとか、こういう使い方すると違和感が出にくいとか、生成AIの“可能性”を発表くださいました。まさに、クリエイターじゃないと出せない意見であり、クリエイターと技術者の双方の視点で議論するという、本イベントを我々技術者が開催した目的の一つに沿ったものです。このようなクリエイター側の意見を参考にし、生成AIの課題を技術的に解決し、生成AIの可能性を伸ばしていきたいと、改めて感じました。

今後も、ワークショップの他の登壇者による記事を掲載予定です。さまざまな視点からのレポートをお届けするので、ご期待ください！

謝辞

本記事の執筆に際し、内藤さんに多大なるご協力をいただきました。この場を借りて感謝申し上げます。
https://www.chaosru.com/

会場と協力について

本イベントは、XRコミュニティ「Beyond The Frame Studio」と「NEUU」の協力を得て開催されました。

NEUU
XR技術の常設体験施設です。XR作品の展示や、イベントや映画祭の企画・開催をされています。
https://neuu.jp/

Beyond The Frame Studio
XRに特化した国際映画祭「Beyond the Frame Festival」をきっかけに誕生したコミュニティです。XRコンテンツ制作に関心があれば、初心者からプロまで参加が可能です。
https://btffstudio.com/

【メンバー募集】生成AI x クリエイティブの未来を一緒に探りませんか？

現在、生成AIに関するディスカッションや、実際に手を動かして検証を進めていけるメンバーを募集しています。コミュニティには約60名のメンバーが参加しており、グラフィック、映像、XRなど、さまざまなジャンルで活動するクリエイター、エンジニア、研究者が集まっています。

生成AIは、あらゆるクリエイティブ活動に大きな影響を与える可能性を秘めています。私たちは、実際にコンテンツを制作しながら、AIの現地点や未来について議論を深め、共に探求しています。生成AIに興味があり、一緒に学び、成長しながら新しい表現の形を追求したい方は、ぜひご参加ください。途中参加も大歓迎ですので、気軽にご参加いただけます。

なお、参加にはDiscordへの登録が必要です。詳細はDiscord内でご確認いただけますので、まずはご登録ください。