こんにちは、TOPPANデジタルの佐藤です！

　この度、第2回となるTOPPANデジタル主催の生成AIの可能性を探るイベント「TOPPAN GENERATIVE TRIAL #2」に参加しました。
本レポートでは、イベント当日の様子をご紹介させていただきます。
※イベントは終了しています。

TOPPAN GENERATIVE TRIALとは

　「TOPPAN GENERATIVE TRIAL」は、TOPPANデジタル株式会社と株式会社CHAOSRUが共同で開催する生成AIの実験プロジェクトです。研究者とクリエイターの双方の観点から、グラフィック、映像、XRとジャンルを問わずあらゆるクリエイティブ活動に影響を及ぼす可能性のある生成AIの現在地とその将来像を探っていきます。

第1回の様子

TOPPAN GENERATIVE TRIALは今回で第2回となります。
第1回の時のnoteもこちらのリンクからぜひ見てください！
AIと模索する新たな創造性
生成AI×エンタメの未来
将来のクリエイティブワークフローを探る
エンジニアは映画を作れるか
生成AIによるプロモーション動画
生成AI技術動向・未来予想

イベントプログラム

イベントは下記プログラムで進みました。

1. 研究者視点で見るAI最新トレンド、著作権と倫理的課題の整理
　酒井修二 / TOPPANデジタル
2. AI動画広告最前線
　橋本伸吾 / CMディレクター
3. AIアバターの制作手法とその可能性
　DAISUKE / クリエイティブAI解説
4. AIで漫才動画作ってみた
　佐野篤 / 株式会社パンダビジョン代表取締役
5. プロデューサー・クリエイター、現場視点から考察するAIの未来
　中村征一郎、LIN、松浪宜秀 /  non genre collection
6. 共同研究の進捗発表
　中島次郎、波多野亮平 / TOPPANデジタル
　内藤薫 / CHAOSRU
7. 総括
　酒井修二 / TOPPANデジタル

イベントの様子

　研究者や現場に詳しいクリエーターが制作事例を交えながら、生成AIの可能性や課題についてトークをしました。イベントプログラムに沿って、詳細をご紹介します！

1. 研究者視点で見るAI最新トレンド、著作権と倫理的課題の整理

酒井修二 / TOPPANデジタル

　酒井は、生成AI技術の最新トレンドや注意点について発表しました。発表は前回のイベントで取り上げられた生成AI技術の動向、未来予測を振り返る内容から始まり、トレンド技術の「オープンな画像生成AIモデルのアップデート」、「一貫性を持った画像の生成技術」、「3D/4D生成技術」の3つに話題が発展していきました。

　最新の画像生成モデル（SD3.5、FLUX.1）は、文字列を正確に画像内に生成するなど、生成精度や表現力が大幅に向上したとのことでした。さらに、同一人物を一貫して生成できる技術などの登場により新たな進化が期待されています。また、画像から3D空間を生成する技術や、時間的変化を伴う4D生成技術は最も勢いがある分野とのことです。

　次に生成AI活用時の注意点では、文化庁の「AIと著作権について」を踏まえた酒井の見解について発表しました。酒井は、「既存の著作物を意図的に模倣しない」「既存の著作物に類似しているかを確認する」の2点を守ることが大事だと述べています。

　特に発表の最後では、生成AIに対して不満や不安を感じるクリエイターも多く居ることに触れていました。その中で酒井は「AI研究者としてネガティブコメントを認知し、対立ではなく、理解と敬意を持つことが大事」とクリエーターの考えを慮るコメントを残しています。

2. AI動画広告最前線

橋本伸吾 / CMディレクター

　橋本さんは「AI広告最前線」をテーマに、広告業界での生成AI活用事例を交えながら、生成AIのメリットやデメリットについて発表されました。

　現在の生成AIを活用した広告動画の自動生成では、思い通りの表現を実現するには多くのトライアンドエラーが必要とのことです。しかし、実写や従来のCGでは実現が難しい高度なビジュアル表現においては、従来の手法に比べて低コストかつ短期間で制作できるというメリットも挙げています。
　また、異なる世界観を持つ複数のシーンを展開するオムニバス形式の広告にも適しており、赤ちゃんや動物など制御が難しい被写体を扱える点も強みであると話していました。一方で、同じ人物や服装の一貫性がツールによって不安定になること、手や指が崩れるハルシネーション問題、AIを使用することによる不気味さへのネガティブな反応リスクといった課題への指摘もあるとのことです。

3. AIアバターの制作手法とその可能性

DAISUKE / クリエイティブAI解説

DAISUKEさんはAIアバターの制作方法や活用事例について発表されました。DAISUKEさんが講演で使用した資料はこちら▼

　制作方法では、自身の開発したAIアバターを紹介しながら、複数のアプリを組み合わせてリアルタイムで会話を生成する方法が挙げられました。単に会話を生成するだけでなく、キャラクタープロフィールや感情分析による表情や声色の変化を入れることで、より魅力的なキャラクターが作成できる可能性があるとのことです。

　活用事例では、多言語対応が可能な接客・受付向けアバターや著名人・IPキャラクターを活用したAIアバターを紹介していました。また、DAISUKEさんが今後挑戦したいことや、AIアバター市場の拡大も語られ、AIアバターの可能性が強調しています。

4. AIで漫才動画作ってみた

佐野篤 / 株式会社パンダビジョン代表取締役

佐野さんは第1回 TOPPAN GENERATIVE TRIALにもご協力いただきました！

　佐野さんは「お笑い×AI」をテーマに、自身が作成したAI漫才を交えた発表をされました。佐野さんが講演で使用した資料はこちら▼

　佐野さんは、AIが生成する漫才はクオリティが低いとしつつも、ChatGPTの進化に期待を寄せていました。これまでの作成過程の中で、GPT-3.5では漫才の概念を理解できていなかったのに対し、GPT-4ではボケとツッコミの構造をある程度把握し、弱いながらも台本らしいものが作れるようになったと語ります。現在のGPT-4oでは、簡単なプロンプトでもネタらしいものが生成できるため、プロの手を加えれば完成度の高いネタが期待できると述べていました。

　また、海外ではユーモアとAIの研究が進められている例として、Anthropic共同創業者が「親しみやすいAIは職場や家庭で活用される」と述べた事例を紹介しています。また、Google DeepMindの研究を引き合いに出し、現在のAIが生成するジョークは型にはまりがちであるなど、現在の「AIとお笑いの研究とその課題」について説明してくれました。

　最後に佐野さんは、「世界初のお笑いに特化したバーチャルタレント事業を立ち上げたい！」と意気込みを語ってくださいました！

5. プロデューサー・クリエイター、現場視点から考察するAIの未来

中村征一郎 / non genre collection

LIN / non genre collection

松浪宜秀 / non genre collection

　様々な分野のクリエーターが集まる「non genre collection」から、中村さん、LINさん、松浪さんの3名が登壇し、「プロデューサー・クリエイター、現場視点から考察するAIの未来」をテーマに、実例を交えながら生成AIの苦手な点やその修正方法について発表されました。

　AIは、指や群衆など細部の表現が苦手なため、人の指が6本以上ある画像などを生成することを指摘していました。また、学習量の多いデータのバイアスで、通常ではありえないシーンとして「人参がウサギを食べる」と指示しても、「ウサギが人参を食べる」という一般的なシーンが生成されてしまうこともあるとのことです。こうした崩れた画像や動画については、既存ツールと組み合わせたり、修正やアップスケールを繰り返すことで品質向上が可能とのことです。

　現場視点から見た制作へのAI導入では、決められたクオリティへの調整やコントロールが難しく、現状ではコストパフォーマンスがあまり良くないとの指摘がありました。細かい修正やスケジュール管理の困難さも課題とされましたが、専門用語をプロンプトに活用する工夫やAI生成チームの内製化によって効率化が期待できるのではないかと述べています。

　最後にAIキャラクター戦略についても言及がありました。テレビタレントと比べAIキャラクターは、不祥事リスクがない一方で、バックボーンがないことが弱みになるため、今後はキャラクターも「年を取る」、「子供を作る」など成長していくのが良いのではないかといった話もありました。

6. TOPPANデジタル、CHAOSRU INCによる共同研究の進捗発表

中島次郎 / TOPPANデジタル

波多野亮平 / TOPPANデジタル

内藤薫 / CHAOSRU

 　内藤さんは第1回 TOPPAN GENERATIVE TRIALにもご協力いただきました！

　TOPPANデジタル、CHAOSRUの共同研究発表では、中島が「VFXにおける生成AI活用」、波多野が「生成AIを用いた映画制作においてキャラの一貫性について」、内藤さんが「独自性のあるスタイル」について発表をしました。

　中島は「VFXにおける生成AI活用」について発表しました。背景が少しずつ変化し、中央の花がCGで表現されるシーンを例に挙げ、背景に時間軸を持たせる新たな表現について説明しました。AIによって実写画像の時間軸などを変える独特な表現の可能性を模索し、一貫性などの正確性が求められる部分はCG、背景は生成AIといった役割分担が有効ではないかと提案しています。ここで、課題として、生成動画においては、CG合成をする際のライティング情報の取得が現実の撮影のワークフロー（クロームボール等を使用したHDR環境マップの撮影など）と同様にできないことを挙げ、それを補う手段として各フレームごとに生成AIによりHDR環境マップを生成し、合成する技術を紹介しています。最後に、視点の変更や環境マップ推定、CGとの組み合わせによる新たな映像表現の可能性についても発表しました。

　波多野は実写映画制作におけるキャラクターの一貫性を保つ工夫について、夏目漱石の「夢十夜」をモチーフにサイレント映画を作成しながら、現在の技術でどこまで再現できるかを検証したとのことです。前回のワークショップでわかった課題を踏まえて、今回は「複数の人物登場時の一貫性」や「表情の変化」を実現した映像が紹介されました。フレームの一貫性はStoryDiffusionを用いて人物を維持し、Consistoryでフレームを跨いでも一貫性を保つ技術が解説されています。
　また、RunwayのGen2とGen3を比較し、Gen3ではより長時間人物を固定できるといったことも説明しています。構図と人物の一貫性保持には課題が残るものの、FaceSwapで補強し、繊細な動きは静止画にアニメーションを加えることで対応したとのことです。しかし、現状では課題も多く、引き続き人の手による修正が必要だと述べました。

　内藤さんは「独自性と創造的なスタイル」にフォーカスした発表をされました。
　内藤さんが講演で使用した資料はこちら▼

　内藤さんはこれまで難しかった独自性のあるスタイルを生成できることについて紹介し、和風や絵本風のアニメーション動画が投影されました。その上で、クオリティもあと少しで納品レベルに達するのではないかと説明しています。また、クライアントとの付き合い方として今後は絵コンテを切らずに複数の納品物から選んでもらう形式へ移行するのではないかといった可能性にも触れられました。

　リファレンスを活用し、2体のキャラクターと背景画を組み合わせて、一貫性のある動画を生成できる技術も紹介しています。雰囲気の良い映像は作りやすくなったものの、ストーリー性のある作品は依然として難しいとのことでした。しかし、技術の進化により、今後はより高品質な作品が期待できると述べられました。最後に、創造的スタイルのアップデートを踏まえ、流通やブランド構築、新たな文化創出への展望について語っています。

7. 総括

酒井修二 / TOPPANデジタル

　最後は酒井による総括でした。酒井は、8月時点では生成AIの未来について予測が中心だったが、今回は現場の声を直接聞けて良かったと話します。また、クリエーターが考える未来は自身の予想よりも進化のスピードが速かったが、現場の声を聞いたことで、生成AIの社会実装に向けて具体化して想像できるようになったとも話していました。最後に、生成AIの進化にクリエーターやTOPPANが貢献できることを期待しているとの言葉で締めくくりました。

体験した感想

　本日のイベントに参加して、生成AIの現状と可能性について、さまざまな視点からの発表を通じて深く学ぶことができました。特にクリエーターの方々のお話では、現場視点からの活用方法や生成AIの課題を事例を交えて聞くことができる貴重な体験でした。また、使用した制作ツールやワークフローまで紹介されていたため、初心者にも非常に分かりやすい説明でした。生成AIによる新たな表現手法についても具体的に提案があり、クリエイティブの世界がどう進化していくのか、その方向性を考えさせられる内容でした。
　経験豊富な方々のお話を聞くことで、生成AIを活用したコンテンツの制作方法やクリエーターと生成AIが共存している未来について大きなヒントを得ることができたと感じています。

　第3回の開催は3月ごろを予定しています。参加を検討されている方はぜひDiscordに参加ください！

【メンバー募集】生成AI x クリエイティブの未来を一緒に探りませんか？

　現在、生成AIに関するディスカッションや、実際に手を動かして検証を進めていけるメンバーを募集しています。コミュニティには約60名のメンバーが参加しており、グラフィック、映像、XRなど、さまざまなジャンルで活動するクリエイター、エンジニア、研究者が集まっています。
　生成AIは、あらゆるクリエイティブ活動に大きな影響を与える可能性を秘めています。私たちは、実際にコンテンツを制作しながら、AIの現地点や未来について議論を深め、共に探求しています。生成AIに興味があり、一緒に学び、成長しながら新しい表現の形を追求したい方は、ぜひご参加ください。途中参加も大歓迎ですので、気軽にご参加いただけます。
　なお、参加にはDiscordへの登録が必要です。詳細はDiscord内でご確認いただけますので、まずはご登録ください。

会場

NEUU
XR技術の常設体験施設です。XR作品の展示や、イベントや映画祭の企画・開催をされています。
https://neuu.jp/

Beyond The Frame Studio
XRに特化した国際映画祭「Beyond the Frame Festival」をきっかけに誕生したコミュニティです。XRコンテンツ制作に関心があれば、初心者からプロまで参加が可能です。
https://btffstudio.com/

■編集者