こんにちは、TOPPANデジタルの市田です。TOPPANデジタルでは、最新のデジタルテクノロジーに触れながら、バックキャスティングとフォアキャスティング、双方の視点をもって新しい価値を創造し、未来の事業の種を作っています。私も生成AIの活用領域を広げるための研究に取り組んでおり、普段は画像生成AIの動作制御や応用技術の研究を行っています。
　その一環として、生成AIの可能性をより身近に感じてもらうため、私が日頃扱っているAI技術を活用し、技術の実証を兼ねた体験型のコンテンツとしてインタラクティブ絵本「TaleSpinner」を開発しました。

　このアイデアを形にしたのは、生成AIの技術をもっと直感的に楽しめる形で活用できないかと考えたことがきっかけです。子どもたちがアイテムを選ぶことで物語が変化する仕組みを取り入れ、単なる読み物ではなく、自らストーリーを作り出す体験ができる新しい絵本を目指しました。
　「TaleSpinner」は、TOPPANデジタル主催の生成AIの可能性を探るイベント「TOPPAN GENERATIVE TRIAL #2」や、最新のテクノロジーとものづくりのアイデアが集まる「Maker Faire Tokyo」に展示しました。特にMaker Faire Tokyoでは、多くの来場者が実際に体験し、子どもたちがどのようにストーリーの変化を楽しむのかを観察することで、技術の改良点や今後の応用の可能性を探ることができました。

　本記事では、「TaleSpinner」の制作背景や絵本の仕組み、そしてMaker Faire Tokyoでの展示を通じて得られた子どもたちの反応や技術の今後の展望について紹介します。

「TOPPAN GENERATIVE TRIAL」第2回ワークショップの様子はこちら▼

「Maker Faire Tokyo」とは▼

選んだアイテムで変わる物語の楽しさ

　この「TaleSpinner」では、まず初めに物語の設定を決定するBOXに、好きなアイテムを置くと、そのアイテムが魔法のアイテムに変換されてストーリーが始まります。
　さらに、物語が分岐点に進むと、より物語に入り込めるように4つのアイテムの中から1つを振ることで、物語が途中で変化する仕組みを組み込みました。

　上の図で①で置いたモノは物語の中に「魔法のアイテム」として登場し、物語が始まるキーとなります。
　そして②のトリガーアイテムは、どれを選ぶのかによって物語が大きく変化します。例えば、剣を選択した場合は勇者としてドラゴンと戦う、ステッキを選択した場合は魔法を駆使して仲間と困難を乗り越えるといった展開になります。

　①や②で選択されたこれらのアイテムは、子どもたちが実際に手に取ったり振ったりすることでアイテムに埋め込まれたセンサーで認識されます。このような仕掛けで、単なる読み物ではなく、没入感のある体験型絵本を実現しました。

仕組みの裏側と開発のこだわり

　「TaleSpinner」は、子どもが直感的に操作できるインタラクティブなコンテンツを目指して開発されました。以下にその仕組みを段階的に説明します。

①画像認識AI（GPT-4o-mini）[※1]
・BOXに置かれたモノを認識し、そのモノについて説明する情報を出力します。
②テキスト生成AI（GPT-4o-mini）
・出力された情報をもとに物語を作成します。
③画像生成AI（Stable Diffusion XL）[※2]
・物語の内容に合わせた挿絵を描きます。
④加速度センサー（M5StickC Plus2）
・アイテムの動きを検知し、選択されたアイテム情報をPCに送信します。

　これらを組み合わせることで、物語の生成から表示までを一貫して自動化しました。各AIとセンサーのスムーズな連携にこだわりました。

[※1]GPT-4o miniは、OpenAI社が2024年7月に発表したGPT-4oの軽量版モデルでSLM（小規模言語モデル）をベースにしたAI言語モデルです。GPT-4oと比較して約2倍の出力スピードで処理が可能です。
[※2]Stable Diffusion XLは、Stability AI社によって開発された画像生成AIモデルで、従来のStable Diffusionよりも大幅に画質が向上しています。

実際に物語ができる様子

　実際に物語が作られる様子です。まずBOXにマグカップを置いてスタートしてみます。すると、主人公の男の子が夢の世界をうつすマグカップを見つけるという設定でストーリーが始まりました。次に分岐点で剣を振ってみると、たくさんのモンスターと戦うストーリーになりました。
　次に同じ設定で物語を始めると女の子が動物と話せるマグカップを見つけるストーリーになりました。
　このように「TaleSpinner」では、選択するアイテムが同じでも毎回違うストーリーが生成されます。

子どもたちの反応と驚き

　Maker Faire Tokyoでの展示には、多くの親子連れが訪れました。特に印象に残ったのは、剣を選んだ5歳の男の子です。彼が剣を振り下ろすと、画面に「勇者がドラゴンと戦う冒険」のシーンが映し出されました。その瞬間、子どもが『これ、僕の剣だ！』と興奮し、物語の世界に深く没入している様子でした。横にいたお母さんも、「こういう体験型の絵本が家にあったら、もっと読み聞かせが楽しくなるかもしれませんね」と話してくれました。

　また、ステッキを選んだ6歳の女の子は、魔法使いの主人公になれる展開をとても喜んでいました。画面に魔法を放つシーンが表示されると、「もっと魔法を使いたい！」と繰り返しステッキを振り、その動作が物語に反映されるたびに笑顔を見せている姿が印象的でした。
　子どもたちがアイテムを通じて物語を操る感覚を楽しんでいる姿を見ると、この絵本の仕掛けがしっかりと機能していることを実感しました。

課題

　開発にはいくつか課題もありました。一つは生成時間の問題です。テキスト生成に約2秒、画像生成に5秒ほどかかるため、体験者が退屈してしまう可能性がありました。この課題を解決するには、PCの性能向上による生成時間の短縮、または物語の間にアニメーションを挿入するなどの演出を追加するなどが効果的であると考えられますが、今回は実現には至りませんでした。

　また、挿絵の絵柄の一貫性を保つことも大きな課題でした。画像生成AIはページごとに異なる絵柄の絵を生成しがちであるため、主人公の顔やアイテムのデザインを固定するプロンプトを追加しました。さらに、PhotoMaker[※3]を生成システムに組み込み、絵柄のベースとなるイラストを活用して画像を生成することで、絵柄の一貫性を保つ工夫をしています。しかし、現時点では完全に解決できているとは言えません。
　ただ生成AIの技術は凄まじい速度で進化しており、NVIDIA社のConsiStory[※4]のような、同じ絵柄を続けて生成できる技術が次々に発表されているので、解決は時間の問題だと考えています。

[※3]PhotoMakerは、Tencent社が2024年1月にリリースしたStable Diffusionをカスタマイズする技術で、ファインチューニングの事前作成が不要で数枚の写真から一貫性を保持できるようになります。
[※4]ConsiStoryは、テキストの指示に基づき、同一キャラクターを異なるシナリオで一貫して描写する画像生成AI技術です。事前学習や微調整を不要とし、複数キャラクターの一貫した描写も可能にします。

AI絵本が見せてくれた未来の可能性

　今回、私は「TaleSpinner」を開発し、展示した体験により、生成AIが持つ可能性を改めて感じました。従来の絵本では提供できない「自分が物語を作り出す体験」は、子どもたちに新しい創造性を引き出すきっかけとなり、子どもの選択によって物語が毎回違う展開になることで、「自分が主人公」という感覚をより強く味わうことができます。
　将来的には、AIによる絵本がさらに進化し、子どもの性格や好みに合わせた物語を自動生成することも可能になるかもしれません。例えば、怖い話が苦手な子どもには優しいストーリーを提案し、冒険を好む子どもにはよりスリルに満ちた展開を提供することが可能となります。
　このような特徴を持つAIが組み込まれたおもちゃが店頭にならび、子どもたちの想像力を広げる手助けをする未来が訪れるかもしれません。
　一方で、生成AI技術は日々進化を続けており、近い将来に3D生成AIやAR/VR技術との連携が現実のものとなるでしょう。例えば、子どもたちが選んだキャラクターや舞台が立体的に表現され、ARゴーグルやVRヘッドセットを通じて現実空間や仮想空間に登場するようなインタラクティブな物語体験が可能になると考えています。
　このような技術の進化は、今回の絵本を題材としたAIによる新体験だけでなく、教育、エンターテインメント、さらにはリハビリテーションやメンタルヘルスといった幅広い分野への応用を可能にしていくことでしょう。

最後に

　「TaleSpinner」を開発し、多くの方々に体験していただいたことで、生成AIの新たな可能性を実感しました。特に、子どもたちが物語の世界に没入し、自分の選択によってストーリーが変化する様子を観察することで、インタラクティブな体験を生み出す技術としての有用性を確認できました。
　TOPPANデジタルでは、最新技術の応用研究を通じて、より高度なデジタル体験の可能性を探っています。 生成AIは、ストーリー生成に限らず、ユーザーの選択に応じた動的なコンテンツ提供や、新しい対話型インターフェースの開発など、多様な応用が期待される分野です。
　今回の取り組みを通じて得た知見を活かし、さらなる技術の発展と応用に取り組んでいきます。

■編集者

TOPPANデジタルの研究開発についてもっと知りたい方は、こちらもご覧ください！