バーチャルリアリティ（VR）をはじめとした先進技術を対象として、人間中心のアプローチで教育・研究に取り組む早稲田大学 基幹理工学部 表現工学科の河合隆史先生。研究室では生体反応の計測から表現に至る、多岐に渡ってUnityが使われている。
「私の専門は人間工学で、もともとは先進技術が人間にどのような影響を及ぼすかについて研究していました。例えば、見る人にとって安全で快適な立体視映像（3D）の制作には、ディスプレイなどのシステムだけでなく、視覚機能など関連する人間の特性の理解が必要です。近年では、クロスモーダルといいますが、ある感覚情報から他の感覚情報を補完する人間の特性を活かした表現を、VRコンテンツの制作に取り入れています」
研究室で制作された『クロスモーダルフェンサー体験』では、フェンシング選手の視線を計測しVR空間内に注視点をマッピングすることで、試合中に選手がどこを見ているのかといった、ユーザの視線の誘導を意図した表現がなされている。
「眼の動きのトレースだけでなく、多様な生理・心理状態をVR空間で感覚情報として提示することで、アスリートに憑依したような体験を作り出せないかと考えました」
選手の視線に加えて、頭部、手や腕の動き、心拍などが測定され、映像や音響、振動といった感覚情報として提示されている。例えば心拍は拍動音に変換され、心拍数の変化に同期するほか、ユーザの剣を持つ腕の動きにも選手の動きが合成されている。
「感覚情報への変換と補完を通して、アスリートに憑依したような体験を目指しています。他にも、徐々に周りの音が小さくなってタイマーの音だけが聞こえるとか、試合中の周囲環境の見え方や聴こえ方の変化もインタビューし、一種の知覚的な歪みとしてVR空間の中に統合しています」
この作品では制作から提示までUnityが使用されている。制作時においては、ヘッドセットに内蔵されたアイトラッカやコントローラをUnityで制御し、各種動きの計測を行った。その結果が反映されたVR空間も、Unityを使ってオーサリングされている。
「Unityとヘッドセット、コントローラという同じ構成で測定から提示までをカバーできたところが便利ですし、興味深いですね。これまでは使い勝手の異なるソフトウェアやデバイスを目的に応じて用意する必要がありましたが、今回、ほとんどUnityをベースで構成することができました。」
教育・研究環境としてのUnityのメリット
「われわれの研究プロセスでは、ある着想を実験で検証するためにコンテンツを制作・提示し、その際のユーザの状態を測定・解析します。Unityを使うことで、制作・提示に加え、例えばVRヘッドセットの位置情報をはじめセンサとして制御することで生体計測も可能になります。トータルで研究に必要な機能というか、特にわれわれのような、人にコンテンツを体験してもらって、その様子を観測する人間工学の研究は、Unityとの相性が良いのです」
河合先生の所属する表現工学科では、「3D表現」「VR制作」という先進的なコンテンツの制作理論や手法を、実習を通して学ぶ科目が設置されており、そこでもUnityが活用されている。
「授業でUnityを使うようになってから、さまざまなアセットが用意されていることもあり、課題として制作する作品の、表現のバリエーションが広がりました。ここ2年間はオンラインで授業を行っているので、学生が自宅のPCでも同じ環境を構築できるのもありがたいですね」
UAAの特典であるBYOD（Bring Your Own Device）を活用し、学生たちは創造性を発揮させているという。
ボーダレスな環境を活かした人材育成
他にもUnityを使うメリットとは？
「Unityを使うと、プログラミングなどエンジニアリング系のスキルと、アニメーションの演出などアート系のスキルを同時に駆使することができます。これまではそれぞれ異なる分野だったソフトウェアやツール類に、一つの環境で行き来できるようになることで、分野を横断した演習課題の設定などが可能となるわけです。われわれが所属している表現工学科は、『科学技術と芸術表現の融合』によって、イノベーションや新たな価値を創出することを設立理念としています。そういう意味で、Unityで提供される環境は、テクノロジーとアートを統合的に扱うプラットフォームとして非常によくできているし、実際にわれわれの教育・研究において機能しています。
これまでは、例えばプログラミングの得意な学生と、動画編集の得意な学生では、それぞれ専用のソフトウェアが使用されてきました。Unityというボーダレスな環境によって、そうした学生同士がコラボレーションする際の形態やアウトプットの質に変化が生じるように思われます。もっといえば、一人ですべてを完結できるという環境を活用していくことにも可能性を感じています。」
Unityは、テクノロジーとアートの境界を行き来する、新たな人材の育成にも貢献していくだろう。