はじめに

　Apple社のVision ProやMeta社のMeta Questシリーズなど、VR, MR, ARなどを体験できるXRデバイスが各社から発売され、高い品質でかつ誰でも手軽に体験できるようになってきました。アプリケーションに関しても、UnityやUnrealEngineに代表されるゲームエンジンなどで誰でも開発できるようになってきています。私たちはこれらのデバイスが今後さらに普及し、誰でもどこでも体験できる未来が来ると想像しています。

　DX 事業の拡大と新規事業の創出を目的に試作・実験の拠点として設立されたTOPPAN DIGITAL SANDBOX®では、このような情勢を踏まえ、これまでTOPPANグループで培ってきたデジタルアーカイブ領域における実験の一環として、「超高解像度な360度パノラマ画像をVR環境で体験できるコンテンツ」における「撮影からアプリケーション化までを容易に作成できるシステム」のプロトタイプ構築・実験を行いました。このシステムにより、ユーザーはあたかもその場にいるかのような体験をすることができます。
　本記事では、パノラマ関連技術分野の概要と特色、TOPPAN DIGITAL SANDBOX®で試作したシステムの概要をお伝えします。

パノラマの特徴

　本記事内でパノラマ画像/映像とはある特定の位置からみた360度の視野を持つ画像や映像のことをさしています。類似の技術として「自由視点映像」［※1］「3DCGでの再現」などがありますが、大きく分けて違いは下表です。（2024年時点）

※1： 自由視点映像
視聴者が任意の角度や位置から映像を見ることができる映像技術のこと。視聴者は映像内で自由に視点を移動させることができ、従来の固定された視点では体験できなかった独自の視覚体験を体験できます。多くの場合、複数のカメラを使用して同時に撮影された映像を組み合わせ、3次元のシーンを再構築することにより実現されます。

パノラマ撮影手法の特徴

一般的なパノラマ撮影手法

　多くの場合、パノラマ画像/映像を撮影するためには、複数の写真/映像を撮影し、後からそれらをつなげるという手法がとられています。例えば普及価格帯の製品例では、２枚の魚眼レンズ・センサーで180度ずつ撮影した画像を結合していますし、映画撮影などでも利用される全天周カメラでは、８枚のレンズ・センサーで撮影された画像を結合しています。これらの全天周撮影用カメラは同時に画像を撮影することができるため、画像だけではなく動画を撮影することができるという利点があります。一方で、デジタルアーカイブなどで利用できる程度の高解像度にしようとするとシステムを自作する必要があり、高品質で撮影する場合はカメラを多く設置する必要があるためにシステムが大型化・費用も高額になりがちです。

ギガピクセルパノラマ分野について

　静止画のみでよい場合、一台のカメラの角度を少しずつずらして複数の画像を撮影し、撮影された画像をつなぎ合わせてパノラマ画像を作成する手法があります（360度画像ではないですが、スマートフォンにあるパノラマ画像撮影と同じ仕組みです）この手法を利用して超高解像度のパノラマ画像を作ろうという動き2010年ごろから発達し、「ギガピクセルパノラマ」という分野が発展しました（文字通り10億画素以上のパノラマ画像を作る分野）。ギガピクセルパノラマ画像の作成手法として昨今主流なのは、自動雲台に一眼カメラを接続し、少しずつ雲台を動かして撮影した複数枚の画像を合成するという手法です。ギガピクセルパノラマ画像はデータ容量が非常に大きいこともあり、すべてのデータをダウンロードしないで閲覧できる「ブラウザでの閲覧」が多く用いられています。

パノラマ以外の空間記録方法について

　パノラマ画像と用途が似ている「空間自体を記録する技術」という観点では、CGでの空間再現も比較対象になると思います。CGでの撮影は空間全体を座標系ごと保存できるメリットがある一方、撮影時間や特殊な機材が必要といったデメリットがあります。ただし、スマートフォンに深度センサーが搭載されたり、昨夏発表されたGaussian Splattingなどに代表される機械学習をベースに画像から質の高い自由視点映像を作り出す技術が近年では発展してきているため、空間全体のCG化するというのもこれからさらにハードルが下がっていくとも考えられます。

閲覧手法の特徴

　パノラマ画像を閲覧する際、印刷物はもちろんブラウザでの閲覧やプラネタリウムでの投影などが行われてきていましたが、近年はXR技術の発展により、HMDやスマートフォンVRでの閲覧も多く実施されるようになってきました。HMDでの閲覧ができることにより、まるでそこにいるような、非常に没入感の高い体験が実現できます。一方でパノラマ画像は仕組み上、基本的にVR空間内での位置移動ができません。パノラマ映像において、カメラが移動するコンテンツ（車上にカメラを置いて移動しながら撮影した映像コンテンツなど）の場合、視聴者の現実空間で感じている体性感覚と視覚情報が異なることにより発生するVR酔いを誘発することがあるなどの課題もあります。

具体的な活用事例

エンターテインメント業界

　昨今、コンサート映像や遠隔観光など、体験のハードルを下げながら高い没入感を持った体験を作ることができることを活かしたコンテンツが作られています。また、自治体も参加するなど広く普及し始めています。例えば以下のような活用事例があります。

• Softbank VR SQUARE　（VR SQUARE　ホームページより引用）

• 鹿児島県奄美市　（鹿児島県奄美市Youtubeチャンネルより引用）

防犯・事故防止観点

　全周囲をカメラ一台で記録できるパノラマは、防犯カメラ・ドライブレコーダーとしても利用されており、複数の製品が出ています。従来の防犯カメラだと画角の問題から、壁の隅に複数台設置する必要がありましたが、パノラマだとより少ない台数で対応が可能という利点があります。また、空間が限られる社内におけるドライブレコーダーとしても、前方車両・横方向・社内の様子が同時に記録できるパノラマは利用されています。

• 全天球ドライブレコーダー　（株式会社ユピテル  ホームページより引用）

パノラマ分野における今後の期待と課題

未来の期待

　基本的にはパノラマ技術は古典的な技術であるため、技術そのものの革新というよりはカメラの性能向上に伴った高解像度・高感度性能の向上による、より高品質なパノラマ作成が可能になることや、別技術との組み合わせにより、より効果的な使い方ができるように進歩していくと考えています。

撮影機器の進歩観点

　すでに高解像度なパノラマ写真を撮影できる技術は存在しますが、将来はさらに高解像度化が進み、リアルタイムでのパノラマ映像の生成と編集が容易になると考えています。

他の先端技術との組み合わせ観点

　AI技術と機械学習の進化により、パノラマ写真の自動編集、画質改善、オブジェクトの認識と追跡がより精密かつ効率的に行えるようになることや、視覚情報だけではなく音源情報振動・風・熱など、様々な情報の方角がわかることで新しい体験を生むことができると考えています。

今後の課題

　「全方位の情報を残す」という観点では自動運転技術の研究などで、周囲を立体的にセンシングする仕組みの発展などが進み、周辺を記録するという用途では代替される可能性があると考えています。パノラマは一点から見た画像を指しているのでCGで作成した空間と異なり自由に歩き回ったりすることはできません。が、動画から３D空間を作成できる3D Gaussian Splattingの技術などの進展により、入力としてのパノラマは共存していくのではないか、と考えています。

TOPPANグループでの活用・試作事例

　従来、空間をアーカイブする際には３Dスキャンなどを用いており、記録に数日かかるなどの時間がかかること、高額な機材が必要なことにより残せる空間が限られる、などいくつかの欠点がありました。
　TOPPAN DIGITAL SANDBOX®では、特に建築物やインスタレーション作品など、「立体的にスキャンする程時間・コストはかけられない場合においても記録として残しておけるコストパフォーマンスの良い記録手法」として、超高解像度のギガピクセルパノラマ画像を自動で撮影・簡易に表示できる仕組みを開発しました。
　本システムでは、撮影されたパノラマ画像の任意の場所に頭を近づけることで拡大・縮小するインタラクションを導入し、「超高解像度」というギガピクセルパノラマの特徴を効果的に体験することができています。
　ミラーレス一眼カメラと雲台をPCから制御し、その場所にあった焦点距離・解像度で画像の撮影を自動で実施しています。また、「文化財のデジタルアーカイブ」分野での活用を主目的としている事もあり、室内での撮影を想定し、ピントを少しずつずらして撮影をし、ピントが合っている場所をつないでいく、フォーカスブラケット撮影・合成［※２］を行うことで、全箇所でピントがあった画像を撮影しています。
　また、閲覧に関してはUnityおよびUnrealEngineで超高解像度の画像をそのままの解像度で出力することができる仕組みを開発しました。これにより、VR機器での閲覧だけではなく、UIなども柔軟に対応することができるようになりました。

　この仕組みは実際に2023年10月から12月にかけてに実施された「さいたま国際芸術祭2023」で試験的に撮影し、2024年3月に実施した「『見逃す、芸術祭。』をつかまえる　さいたま国際芸術祭2023報告展示会」にて、撮影した映像をHMDで閲覧する体験の展示を実施しました。
　本報告展示会では、計70名以上の方に体験いただき、本プロジェクトのブラッシュアップの参考になる多くのご意見をいただきました。
　TOPPAN DIGITAL SANDBOX®では、「ありたい未来を私達の手でデザインする」をビジョンとして掲げ、日々「ありたい未来」を自分たちで考え、そこに向かう第一歩を試作する活動をしています。

※２：フォーカスブラケット合成
ピントを少しずつずらした画像を合成することで画像全域でピントがあっている画像を作り出す撮影・合成手法のことです。

TOPPANデジタル有識者コメント

　私達は、印刷事業を起点に、時間と空間を超えて様々な人々の想いを届けるインターフェースの存在として社会に携わってきました。印刷が果たしてきた役割をさらに発展させた次代に求められるインターフェースとは何なのかを考えたとき、「身体性メディア」はひとつの重要なキーワードになると考えています。
　　身体感覚や運動能力を通じて人間の体験を拡張させる技術や表現である「身体性メディア」のアプローチとも言える今回のTOPPAN DIGITAL SANDBOX®の取組みは、難解な説明や事前のコンテキストがなくとも、人間が本来持つ身体的なアナログ感覚をもとに、デジタル技術を利活用した人間拡張能力を一部手に入れることができる、とも言い換えることができます。様々な人々が直感的に体験できる機会を増やし、その体験の質を豊かなものにできる可能性に溢れた技術、取り組みだと捉えています。
　アーカイブを「静的な保管物」といった文脈で終わらせず、新たな発見や、時間と空間を越えたコミュニケーションである「動的な体験機会」に繋がるものとして本技術や今回アプローチを「身体性メディア」文脈で捉えたとき、私達が自身の身体をどのように知覚し、また、どのように世界を捉えているかの視点を通じて、結局は、私達自身を見つめ直す機会をもたらしてくれているのだと、今あらためて再認識しています。

■編集者