VOICE Akatsuki

アカツキゲームスの最新情報をお届けするメディア

独自性の高い研究で、未来を切り拓く。アカツキxR室の歴史と研究対象の選定プロセス

2022.01.21

こちらの記事で活動内容を紹介したアカツキxR室は、歴史を遡ると2014年にアカツキに入社したエンジニア、谷口 大樹さんがプライベートで取り組んできた研究が発端となって誕生した「R&D室」が前身となる部署です。2018年に立ち上がったR&D室は世界的なCGカンファレンスである「SIGGRAPH」で2018・2019年に採択、2021年にGrand Jury Prizeを受賞しています。

そのR&D室立ち上げの経緯や、谷口さんが何を重視して当時の研究対象を選定していったかについて、アカツキの応援団鼓手長兼エンジニアリング・アドバイザー能登 信晴さんによるインタビューから抜粋してお伝えします。

谷口 大樹 Taniguchi DaikiアカツキxR室 リサーチエンジニア

2014年アカツキ入社、新規ゲーム開発や新規事業開発を経て2017年にR&D室を立ち上げ。 CG分野のトップカンファレンスACM SIGGRAPH展示部門3度採択。技術で感情を動かしたい。

能登 信晴 Tokiharu Notoアカツキ応援団鼓手長 兼エンジニアリング・アドバイザー

ソフトウェア・エンジニアリングと人事・組織デザインの境界領域を専門とし、2012年よりアカツキのエンジニアリングを支援している。 ※肩書とプロフィールはインタビュー当時のものです

この記事はアカツキの採用情報(https://recruit.aktsk.jp/engineer-interview/22/)に掲載された内容をもとにVOICE用に加筆・再編したものです。

ひとりのエンジニアが余暇に取り組んできた研究から始まったアカツキR&D室

能登 アカツキのエンジニアの中でも、「尖った仕事」をしている谷口さん。僕は谷口さんとはR&D室の取り組みを始める前から定期的に 1on1 をしてきているし、お互いの理解も深くなってきたと思っているのですが、今日は改めてこれまでどんな仕事をしてきたのか、これからどんなことをしていこうとしているのか、インタビューさせてください。

能登 谷口さんは、R&D室立ち上げ期、VRを研究していましたが、どのような経緯で始めたんでしたっけ?

谷口 2016年の前半に、元アカツキCEOの塩田さんがOculus社日本チームからいただいたというOculus RiftとTouchを触らせてもらったんです。VR HMD(ヘッドマウントディスプレイ)はOculus DK1(開発者版)の時代に触ったことはあったのですが、ハンドコントローラーであるTouchをともなった体験は別物で、この時に「これは未来だ!」と衝撃を受けて。

能登 なるほど。それがトリガーになったんですね。

谷口 はい。「自分が次に賭けるテーマはここだ」と思いました。もともと自分のコアにあるものは一貫していて、新しいテクノロジーを駆使して、世の中に無かったものを生み出し、新しい体験や驚きを人々に届けること。そして、その過程自体も楽しむことが常に頭にありました。僕にとっては、それに取り組む手段が、モバイルゲームや新規事業でした。そして次はVRやARだったということです。

能登 どのように開発を進めていたんですか。

谷口 最初は感覚を掴むためにひたすら試行錯誤を繰り返していました。VRやAR(xR)は、その体験が平面スクリーン上ではなく空間的になるため、それまでのソフトウェアとは作り込みのポイントが根本的に異なります。3Dプログラミングは学生時代にOpenGLを触ったり前職でWebGL製のゲームを作ったりした経験がありましたが、「体験自体が3次元的」であるソフトウェアの開発は初めてでした。ですから、VR世界とのインタラクションの設計は色々なものを試しました。遠くにあるものを自由に引き寄せられたり、直感的なアクションでオブジェクトのサイズを変えられるようにしたり。

谷口が当時投稿した技術ブログ
https://qiita.com/kidach1/items/fc85b353c8368edd5474

谷口 もう一つ、キャラクタープレゼンスの向上にもこだわっていました。キャラクターをVR空間にいれたときに、本物らしく感じられるかという点です。2次元スクリーンの中では気にならない部分が、VR空間になると顕著に感じられることがあります。

例えばキャラクターの動き一つとっても、VR空間では同じモーションが二度再生されてしまった時点で「なんだ、作り物か」と一気に覚めてしまうんです。VRでは「自分の隣にキャラクターがいる!」という感動が大きい分、細かい粗も非常に目立ちやすく、すぐにプレゼンスが剥がれてしまうんですね。ですから、まばたきや瞳の動き、呼吸にともなう全身の動きといった細かい部分にこだわったり、決め打ちのアニメーションを入れるのではなく、人間らしい動きに近づくように、プレイヤー自身の動きを一部キャラクターに付与するといった工夫も行っていました。

能登 まだ他の人があまり気づけていなかったことに目を向けていたんですね。

谷口 そうですね。このとき考えていた「写実的な背景とキャラクターをなじませるための手法」は、今のメインの研究内容にもつながっています。

能登 確認ですが、ここまではプライベートの時間で取り組んでいたんですよね。

谷口 そうですね、VR開発は夜間と土日の全ての時間を注ぎ込んで、まさに命を削って取り組んでいました(笑)肉体的にハードではありましたが、Oculus Storeでアプリケーションをベータ公開して、Twitter上やイベントでいろんな人に遊んでもらってどんどん盛り上がってきて、楽しかったのもあります。

そのタイミングで塩田さんにも遊んでもらったところ「これは来るね!」と言ってもらえました。アカツキのミッションの一つは「心が動く突き抜けた体験」を提供することなので、そこから考えるとARやVRは将来に向けて知見を貯めておくべき領域であることは明白でしたし、ちょうど自分の本業側も一区切りついて他の人に手渡せそうなタイミングになったことが重なって、R&D部門を発足して正式に研究できることになりました。

能登 どういう経緯で、研究対象をVRからARに移行したんでしたっけ。

谷口 僕はVRとARどちらも大好きなのですが、それぞれ異なる良さがあると思います。腰を据えて現実世界から離れ、「深さ」を味わえるVRと、日常の延長として普段づかいでき、より「広がり」を感じられるAR。ゆくゆくは統合されて1デバイスでどちらの使い方もできるようになると思いますが、議論を繰り返す中で、まず「広さ」がとりやすいARのフィールドで多くの人に使ってもらえるようにしようという結論になりました。そして「自分がARに深さを足していくんだ」という気持ちも強くありました。

能登 ARの中でも、特にフォーカスしたところがあるということですが、どんな領域でしょうか

谷口 僕が注力することにしたのは、「光学的整合性」です。
アカデミックな世界では、ARのコアとなる技術要素を以下のように大別しています。

  • 幾何学的整合性(いかに空間を認識して3Dオブジェクトを配置するか)
  • 光学的整合性(いかに3Dオブジェクトを現実空間になじませるか)
  • 時間的整合性(いかにユーザの操作に遅れず表示できるか、つまりは実行速度)

谷口 まず、時間的整合性はどれをやるにしても考えることになるので、除外しました。では幾何学的整合性と光学的整合性のどちらにフォーカスするかですが、幾何学的整合性はある意味明確なゴールがあるので、多くのデバイス開発企業やプラットフォーマーが注力する領域になります。

一方で光学的整合性は、ARをどのように捉えるかによってその重要度は多義的であり、注力している研究機関や企業はまだ多くありません。R&D室が立ち上がったばかりであることを鑑みて明確な独自性・新規性を目指せる領域を狙いたかったので、後者に集中することを決めました。もちろん、難しい話を抜きにして自分の志向性と合っていたのも大きいです。

研究テーマに置いた思い。“どこかで見たことがある”という感覚を呼び覚ますような表現方法「NPR」

谷口 光学的整合性にフォーカスするにあたり、2つの方針が考えられました。

1つ目はPhotorealistic Rendering、つまり写実性を追求する方向性です。3Dオブジェクトを限りなく現実に近いかたちでレンダリングするというもので、CGの世界において非常に分かりやすいゴールです。

ですが、そこには多くの課題が存在します。端的に言うと、数ミリ秒という短い時間で物理的に正しい反射や屈折処理を実現したり光の経路を求めたりする必要がある。これはコンシューマーゲームのようなリアルタイムCG最先端の世界においても追求の只中の状態です。さらにARでは現実環境の推定処理なども必要になってくる。ハイエンドマシンでも手に余るこれらの処理を、現時点で遥かに性能の劣るARデバイスで行うことは、あまり現実的とは言えませんでした。

もう1つの方向性はNon-Photorealistic Rendering(NPR)です。NPRは、主に画面全体に対して、「アニメ風」や「水彩画風」などの統一的な描画スタイルを付与する手法です。画面全体のスタイルを統一できるということは、「3Dオブジェクトと現実世界の融合」というゴールに対しても有効ではないかという発想がありました。工夫次第で実行速度を担保できる可能性もある。

ただ、NPRとは直訳すると「写実的・現実的ではない」ものですから、「拡張現実」であるARとはそもそも相反する概念とも言えます。現実的でないものを現実のように見せることは可能なのだろうかと、NPRベースのARをいくつもプロトタイピングした結果、「映画やゲームで見た世界」を再現することが有効ではないかと考えるようになりました。誰しもが持つ「映画やゲームで見た世界の記憶」をハックして、現実には存在しない物質であるにも関わらず「どこかで見たことがある」という感覚を呼び覚ますような表現方法です。特にSFアニメや映画の光学迷彩やホログラムを再現する表現は上手くいきました。

参考: 谷口が当時twitterへ投稿した成果物

谷口 光学的整合性はアカツキにとって重要な技術要素になってくることも、研究の対象にした理由でした。アカツキはプロダクトに想いや物語をどう込めていくかをとても大事にしています。アカツキがつくる世界観と技術がリンクして、より高いレベルで「アカツキならではの唯一無二の世界観」を再現できようになるとしたら、会社の未来に繋がる技術的資産となるのではないかと考えました。その点で、特にNPR表現は親和性が高いと思っています。

未来に繋がる研究に拘る。「どこで活かせるか、強烈に考え抜きます」

能登 いいですね。「プロダクトに想いや物語を込める」というアカツキの考え方と、整合性がとれている研究テーマだというのが面白いですね。そこまで考えて技術を選定していたとは!

谷口 技術研究は、テーマの選び方が非常に重要だと思っています。例えば、テーマ設定の背景が「単純に技術的に面白そうだから」というものだったとします。これは研究者・技術者として大切にしたい欲求ですが、一方でそれだけでは継続的な研究にはならないことが多い。ともすれば「研究のための研究」になってしまうからです。結果「何につながるのかわからない、だから止めよう」となるのは、事業会社の研究部門でよく聞くケースだと思います。

そうではなく、最終的にどこで活かせるのかを強烈に考え抜いた上で研究を進めていく。特にアカツキにおけるR&D室の取り組みはこれが最初となるので、「確かに未来につながりそうだ」という事例を作り、後続が続ける道筋を作っていきたいと考えていました。

「これは夢じゃないか?」初挑戦で、SIGGRAPH 2018に採択

能登 その後、成果物がTwitterなどでバズにつながって、さらにはSIGGRAPHに採択されるまでになりましたが、そのプロセスも聞かせてください

谷口 研究を進めるうち、自分の研究や今後やりたいこと、アカツキがやりたいことは、世の中にも確かな価値があるものだと証明しようと考えるようになりました。そのために、学会などアカデミックな場で研究成果をアウトプットしよう、と。トップカンファレンスと呼ばれる場をいくつかピックアップして、たまたまタイミングが合ったのがSIGGRAPHでした。

SIGGRAPHはこの分野のトップオブトップだったので、「いきなりこれか」と少し気後れもしましたが(笑)ちょうど2018年からARの研究に対しても本格的な募集をかけるようになったタイミングで、募集要項には「イノベーティブな体験を」という文言が入っていました。アカツキが目指している方向性と合致していたんです。蓄積してきた光学的整合性の技術を、体験まで落とし込むめたら、いけるかもしれないという見通しもあったので、挑戦を決めました。

2018年に採択された研究の実質的な開発期間は1−2ヶ月で、死に物狂いでひたすらコードを書く日々でしたが、コアの技術を活かせているか、新しい体験につながっているか試行錯誤をひたすら繰り返しました。

SIGGRAPH 2018採択発表の時期前後は、 日ごろオフにしているスマートフォンの通知をオンにして、毎朝ドキドキしながらメールを確認しました。ある朝「Congrats!」というメールが届いて、「これは自分の英語能力が下がっているから、採択されたように見えているに違いない」とか「これは夢じゃないだろうか?」とほっぺたをつねったりしました(笑)10分ぐらいしてようやく、「どうやら本当らしい」と思えて、すぐ能登さんにチャットしましたよね。

能登 そうそう!朝7時ぐらいでしたね。その前にそんなドタバタがあったとは知りませんでしたけど(笑)

参考:SIGGRAPH2018出展の記事

これまでの研究からSIGGRAPH 2021でのGrand Jury Prize受賞までに繋がるもの

谷口 SIGGRAPH2021でGrand Jury Prizeを受賞した「Garage」は、SIGGRAPH2018、 SIGGRAPH2019で採択された研究で「RealとVirtualの視覚上の融合」を達成するために採用してきた画像的(2次元的)アプローチを空間的(3次元的)アプローチに拡張できないかと考え研究したものです。

さらにはこれまで高価で大きかったLiDARという物体の大きさや距離を測るセンサーがiPhone 12 Proに搭載され、取り入れやすくなったことも研究のきっかけになりました。

これまでの研究と2021年の研究において、2次元的アプローチ、3次元的アプローチの違いはありますが、共通しているのは「リアルな表現以外にも魅力的な表現はあるだろう」という考えです。これは先ほどお話しした「NPR表現」を選んだ理由につながっています。

参考:SIGGRAPH2021 Grand Jury Prize受賞研究についてはこちら

テクノロジーがもたらすパラダイムシフトに立ち会いたい

能登 今後谷口さんがアカツキR&D室で目指す方向は?

谷口 僕のコアは「新しいテクノロジーを使って、まだ世の中に無かったものを生み出し、新しい体験や驚きを人々に届ける。そして、その過程自体も楽しむ」ということです。そこから考えると、ARは数年という単位で研究する対象になると思います。インターネットやスマートフォンと同じレベルで、パラダイムシフトを引き起こす可能性がある技術だと思っているからです。その頃にはARという名称ではなくなっているかもしれませんが(笑)

一方で生涯ARの研究を続けるかというとそうではないと思います。世の中に浸透するにつれて徐々に当たり前の技術になっていくはずなので。その当たり前になるまでのプロセスで技術的な貢献ができたらうれしいですね。そしてその後は次の新しい技術を追いかけていくのではないかなと思います。また、仕事の仕方・技術との向き合い方としては、研究開発のようなやり方、つまり技術の深部まで潜って深く理解し、さらに世界で誰も実現していないものをアウトプットしていくというアプローチは非常に面白く、自分に合っているかなと思います。今後も様々な先端技術と向き合って、世の中に無いものを生み出していきたいですね。

この記事はアカツキの採用情報(https://recruit.aktsk.jp/engineer-interview/22/)に掲載された内容をもとにVOICE用に再編したものです。