アカツキxR室の研究 現実を再定義し、新たな世界を創造する『Garage』
2022.01.21
CG、3D、AI、エンターテインメントの世界で磨かれてきた技術はどの時代にも私たちを驚かせ、心を動かし、そして日常の中に定着してきました。それらと同じく、現実と仮想世界を結びつけるAR・VR・MRなどの総称「xR」も、エンターテインメントをはじめとしたさまざまな分野で成長を続ける技術です。
アカツキではxR室がこの研究を進め、世界的なCGのカンファレンスである「SIGRAPH」でも発表を行っています。今回はアカツキxR室の研究について、専門的な部分を解説しながら取り上げます。
谷口 大樹 Taniguchi Daiki アカツキxR室 リサーチエンジニア
2014年アカツキ入社、新規ゲーム開発や新規事業開発を経て2017年にR&D室を立ち上げ。 CG分野のトップカンファレンスACM SIGGRAPH展示部門3度採択。技術で感情を動かしたい。
この記事はアカツキの採用情報（https://aktsk.jp/recruit/career/rnd/）に掲載された内容をもとにVOICE用に再編したものです。
地続きの「Real」と「Virtual」。アカツキｘR室の研究は現実世界を豊かにするもの
xRが融合させるReal（現実）とVirtual（仮想現実）とはどういうものでしょうか？ Realはいうまでもなく、私たちの目の前に事実として現れていることを指します。その一方で、Virtualは事実ではないことをあたかも事実のように感じられることです。
一見、この2つの概念は対立しているように感じられますが、“Mixed Reality”という概念を初めて提示したPaul Milgram氏は、RealとVirtualは対立概念ではなく地続きのものであるとしています。※1
これがどういうことかというと、彼は1994年に発表した論文でVRやARなどの技術においてRealとVirtualがそれぞれどのように融合しているかを分類し、それらを「仮想現実連続体（Virtual Continuum）」として一本の線をつかった図にまとめたのです。
青矢印下、左から「現実環境（Real Enviroment）」「拡張現実（Augmented Reality）」「拡張仮想現実（Augmented Virtuality）」「Virtual Enviroment（仮想現実環境）」 ※1: Paul Milgram『A Taxonomy of Mixed Reality Visual Displays』https://www.researchgate.net/publication/231514051_A_Taxonomy_of_Mixed_Reality_Visual_Displays
さらに、Paul Milgram氏はこの一本の線をつかった図に含まれる融合方式の境界はグラデーション状で曖昧なものであるとしています。
アカツキxR室では、このグラデーションの中心にある「拡張現実（Augmented Reality）」 「拡張仮想現実（Augmented Virtuality）」に特に注目し、「“Real”に軸を置きつつ高度に“Virtual”を融合させていくための研究」を行い、研究の結果として没入度の向上や未来的な体験など、体験の質を大きく向上させることを目指しています。
この背景にあるのは、“我々は物理的な肉体を持っている以上Virtual世界のみで生きる訳にはいかない、xR技術はRealを豊かにするものであることが重要だ”、という思想です。
リアルタイムに生成されるボクセル状の風景の中を歩く。ARプロジェクト「Garage」
アカツキxR室が取り組む「“Real”に軸を置きつつ高度に“Virtual”を融合させていくための研究」。これが実際に形となった実例のひとつが「SIGGRAPH2021」で発表され、優秀なプロジェクトに贈られるGrand Jury Prizeを受賞した研究プロジェクト「Garage: GPU particle-based AR content for futuristic experiences（以下、Garage）」です。
「Garage」で見える風景
映像を見ていただければ、この研究がどのようなものか直感的に理解できるでしょう。説明すると、「Garage」はヘッドマウントディスプレイ（以下、HMD）を通して見た風景を全てデジタルで再構築することで自在に空間的・時間的操作を加えることができ、さまざまな体験を提供することができるシステムです。
ドラゴンによって破壊されるオフィス（左）、音楽に合わせてデスクの風景が変化
過去に録画した手首を任意空間に再生することで腕が透けている（左）、過去に録画した自分を任意空間に再生
例えば3Dキャラクター（ドラゴン）の干渉によって環境を破壊・融解したり、音楽に合わせて周辺環境をオーディオビジュアライゼーションのメディアにしたりすることができます。また、過去に録画した自分自身のパーツを任意空間に再生することで、テレポートや透過、過去の自分とのスパーリングなどの表現を実現することもできるのです。
「Garage」の構造 
大まかな構造としては、HMDに取り付けられたiPhone12 Proが色や深度などの情報を取得し、背負ったPCに送信。PCが処理を加えて、HMDにリアルタイムに反映する、というものになっています。 目の前の風景をとらえることができるHMDには大まかに ・透明なレンズを通して見える現実の風景に映像を重ねる「光学透過型」 ・現実の情報をキャプチャして一度取り込んだ上でディスプレイに表示する「ビデオ透過型」 の2種があり、「Garage」は拡張現実（Augmented Reality）より拡張仮想現実（Augmented Virtuality）に近いものだといえ、「光学透過型」よりも適した「ビデオ透過型」を採用しています。
ボクセル表現からなめらかな表現まで
ボクセルのサイズや整列幅はパラメータでコントロール可能
「Garage」を通して見える風景で、何よりも印象的なのが3Dのボックスが連なったような「ボクセル表現」です。世界的に人気のゲーム『Minecraft』に代表されるように、情報量を削減したボクセル表現でも魅力的なゲーム世界を作り込めることは広く理解されています。
そしてアカツキxR室において過去のプロジェクトでNPR（Non-Photorealistic Rendering） 表現による没入度向上手法を模索してきた結果として、xRに対してもNPR表現が有効であることが分かっています。また、NPR表現にはレンダリングコストの削減など実質的なメリットも大きく、目指す世界観にあわせて適切な表現を取り入れていくことは有効な選択肢と言えるでしょう。
「Garage」は、任意のボクセルサイズ・整列幅をパラメータでコントロールできる機能も備えており、デザイナーが自由に表現を作り込むことができます。さらには、ボクセル表現よりもさらに細かい粒子でよりなめらかな表現も可能です。
異空間に手が飲み込まれているようななめらかな表現も可能
「GPUパーティクルベース」が可能にした表現の幅
「Garage」がこれだけ幅のある表現をできるのは、従来のARで使用していた表現方法「ポリゴンメッシュ」を「GPUパーティクル」にしているためです。
ポリゴンメッシュで細かな表現をリアルタイムに行うには、コンピューターの処理能力などさまざまな制約がありました。しかし、リアルタイムな画像処理に特化したプロセッサである「GPU」を利用する「GPUパーティクル」では多数の粒子による細かな表現が可能になっています。
「Garage」がもたらした新たな感覚
谷口は「Garage」、アカツキxR室の研究についてこのように語ります。
アカツキxR室では過去の研究において光学的整合性、つまり「リアルとバーチャルの視覚上の融合」を達成するために画像的（2次元的）アプローチを採用してきましたが※2、これを空間的（3次元的）アプローチに拡張することは出来ないか模索を続けていました。
リアル/バーチャル双方のオブジェクトが共通のインタラクション（相互作用）や物理特性を備え、等しく自在に操作・干渉が可能となれば、より高いレベルでの融合感が得られるのではないかと考えたからです。
この考えに基づき、GPUパーティクルベースで現実環境を再構築し、空間の自在なコントロールを可能にしたシステムがGarageです。
現在、“AR”という言葉の第一印象は「現実世界に便利な情報を重ねる」「地面に接地したキャラクターを表示する」と言ったイメージが強いと思います（実際それらはARの大事な一要素です）が、エンターテインメントの文脈ではより高次のレベルでの融合感・複合感が求められるようになっていくと考えています。
今回「Garage」の開発によって、再構築された現実環境を操作/編集/破壊することで“Real”の定義を上書いているかのような、“Virtual”との境界が曖昧になっていくような感覚を得られることが分かりました。
「Garage」はまだ成長中のプロジェクトです。これまで述べてきたパーティクルベースのシステムのメリットを活かし、進化させて、アニメやマンガに見られる未来の世界に近づけることを目指しています。
今後もARという言葉のイメージに囚われることなく、Real,AR,AV,Virtualを自由に行き来することで「現実を再定義し、現実を超える新たな現実を創造する」というMixed Realityの深部に近づいていけたらと考えています。
※2: 2019年の研究「Neural AR: Immersive augmented reality with real-time neural style transfer」（https://aktsk.jp/recruit/career/rnd/#annotation3b）
アカツキxR室公式ページ
VOICE谷口大樹さんインタビュー記事
