後楽園駅から徒歩5分に位置する、都心型キャンパスの中央大学理工学部。先端の設備、施設などが充実し、数学・物理からビジネスデータまで幅広い10もの学科を擁する理工学部にて、Unityが活用されている。その中でも活用が進んでいる情報工学科の牧野光則先生と鈴木寿先生のもとを訪ね、学生たちがいかにUnityを活用しているのかを聞いた。
情報工学科には4Kを4面連結した裸眼立体視ディスプレイやモーションキャプチャなど充実した機材が備わっており、研究はもちろんのこと、一部の科目でも利用している。その中でも、牧野先生が指導する演習「画像・映像コンテンツ演習4」では、立体視を使ったゲーム「3Dファイト」「Dodge!!! To Live!!!」などのクオリティが高いコンテンツがUnityを活用して学生チームから生み出された。
「3Dファイト」は情報工学科が隣室に設置している全身3Dスキャナーで学生自身をスキャンし制作したアバターを登場させ、ゲーム機用のモーションキャプチャ・システムでプレイヤーのボクシングの動きを読み取ってアバターを動作させることで、仮想空間中の相手と闘うゲームだ。この3Dスキャナーは100数台のカメラで360度から写真を一斉に撮影し、フォトグラメトリと呼ばれる技術で人体の3Dモデルを高性能のパソコンであれば5分ほどで生成できるという高性能のシステムである。「3Dファイト」では、プレイヤーが実際にパンチなどをして闘うことでリアルなボクシング体験を再現した。「立体視を活かすために、奥から何かが手前に向かってくるコンテンツが良いと考えました。そこで、導入されたばかりの3Dスキャナーを使って自分たちのアバターを出現させ、動かせたら面白いんじゃないかというアイデアで出来た作品です」(制作チームの一人である井原圭悟さん)
「Dodge!!! To Live!!!」はより没入感にフォーカスしたゲームコンテンツだ。ゲーム機用のモーションキャプチャ・システムと家庭用ゲーム機のコントローラーを組み合わせて、プレイヤー自身の身体を動かすことで、敵を避けて攻撃しながらアイテムを取り、宇宙空間を進むシューティングレースゲームである。
「教授から与えられたテーマが“立体視を上手く使うインタラクティブコンテンツ”だったので、奥行きを持たせて景色が後方に流れていくゲームであれば没入感を強く得られるのではないかと考えました。さらに没入感を高めるためにはどうすればいいか、とチームでさらに踏み込んで考えたところ、自身の身体を使った操作なら本当に自分がそこにいるように感じるのではないか、というアイデアでまとまり、それを実現するためにゲーム機用のモーションキャプチャ・システムを使いました。さらに単純なレースゲームだと面白みに欠けるだろうと考えて、シューティング要素を入れたレースゲームという形に落とし込みました」(制作チームの一人である綿谷匡浩さん)
UAA加盟をきっかけに
情報工学科の授業でUnityを本格的に授業で使い出したのは、Unityアカデミックアライアンス加盟がきっかけだったという。
「Unityを画像・映像コンテンツ演習4などで積極的に活用するようになったのはUnityアカデミックアライアンスに中央大学が加盟したことにより、Pro相当のライセンスを学科で使えるようになってからです。今では、牧野研をはじめとするいくつかの研究室の学生用PCへはもちろんのこと、情報工学科の全学生用に整備しているプログラミング演習室のPC全台にもUnityを入れてあるので、この科目のようにUnityを活用する科目だけでなく、独学でもUnityに触れる機会を学生に提供しています。この演習は裸眼立体視システム上で動くインタラクティブコンテンツの制作であれば学生チームは自由に方向性を決められるのですが、アイデアを実装する際にはUnityを選ぶことが多いですね。また、4月に作り始めて7月末までに完成させるという授業期間内の完成だけが目標ではなく、その直後に開催されるオープンキャンパスで見学に来る高校生などの来場者に実際に使ってもらうようにしています。自分の成果を他者に使ってもらうという目標があることが、よりよいものを作ろうというモチベーションの維持に繋がっているようです」(牧野)
この科目に加えて、先程の学生たちは牧野研究室でも卒業研究でVRでの筋力トレーニングのコンテンツやMRでの消火訓練シミュレーションなどを開発している。
「筋力トレーニングの初心者・初級者向けに、効率的なフォーム習得を目標として作りまして、誤ったフォームでのトレーニングでは身体を痛めたりトレーニング効果が悪くなったりします。それらがきっかけとなって初級者が挫折するという問題があるので、それらを改善しようと思って考案・構築した効率的なフォーム習得をするVRコンテンツです。ゲーム機用のモーションキャプチャ・システムで身体の座標を取得して、お手本と自身のアバターを重量表示して正しい動作への追従を確認しながらトレーニングしたり、さらにトレーニング中の動作を保存して、後ほど見返すこともできます。トレーニングの邪魔にならないよう、モーションキャプチャは身体に装着しないものを採用し、さらに軽量(約76グラム)のスマートグラスを用いました。これによって、トレーニング中でも手本と自身のフォームの違いを楽に見ることができるコンテンツにしました」(綿谷)
「自分は、MRで、電気機器から発生する火災の消火の体験を行うコンテンツを作りました。コンテンツは、MRゴーグルを通して消火器の使い方を覚える前半と、実際に消火体験を行う後半に分けて考え、構築しました。消火体験では、実際に今いる部屋に合わせた体験を行えるようにするために、家具や消火器、ブレーカーなどを現実と同じ場所に配置できるようにしました。後半の体験では、仮想の炎を実際の部屋に重畳表示し、時間経過と共に炎を徐々に大きくさせています。仮想の炎が天井に達する前に消火を終えたら成功、できなかった場合は消火失敗の警告をシステムは眼前に表示して、直ちの避難を促します」(井原)
牧野研では他にも、火災が発生した時に車椅子を動かして避難したり、料理の手順をARで表示することで調理者に料理手順を指示する等のコンテンツも作られた。
「研究の基本方針は誰かの役に立つものを作ることです。そのために、まずユーザを絞って、そのターゲットユーザにとって役立つものは何ができれば良いのか、その実現には何のテクノロジーを使うべきかをしっかり決めてから作ります。例えば料理手順を指示するコンテンツの場合だと、現実の状況が見られないと作れないのでシースルー型スマートグラスを使おう、視野の妨げになるべくならないように画像ではなくテキストメインでメッセージを表示しよう、料理中にシステムを使うために手を使うのは妨げになるから首を傾けることで多くの指示を出せるようにしよう、というように考えを進めていきます」(牧野)
Unityを使うことで、学生の作る作品の質・量が向上したという。
「研究の本質部分だけでなく、周辺部分も含めたところも作り込むようになったので、学生が作る世界が幅広くなりましたね。Unityをプラットフォームとすることである程度のところまで一気に仮想世界を構築し、その後は自分のアイデアの具体化に注力する、という流れにできるので、自分のアイデアの実現部分に時間を十分に割くことができるのが我々に良く合っていると思います」(牧野)
Unity製ゲームで第4回全国電子工学系ゲーム制作コンペティショングランプリを獲得
グランプリを受賞したのは、理工学部情報工学科3年生の尾林 郁海さん、木原 康生さん、児玉 海斗さん、生田 智也さんが制作した脳トレゲーム「egger」だ。走りながら丸・三角・四角でそれぞれ赤・青・緑のパネルを正しく組み合わせるパズルをクリアし進むというランゲームである。
「そもそも私が情報工学科に入学したのは、元々高校生の頃にゲームがきっかけで興味を持って、プログラミングを学ぼうと思って選んだからです。入学当時は、4年間学んだだけではゲームを作れるようにはならないとは思っていたので、完成できてグランプリまで頂けて、驚いています」(生田)
制作期間は夏休みの1ヶ月。「画像・映像コンテンツ演習」でゲームを作った経験から、自分たちだけでもゲームが作れるのではないかと思いつき、仲間に声をかけて制作が始まった。
「ゲームを作ろう、と言われて楽しそうだな、と思い参加しました。僕たちはプログラマなので、UIのデザインなど何一つわからない状態からスタートして、手探りで進めていきました。『脳トレ』というお題があったので、まず、デモやマップを作って、それは無理だ、これはできる、と一つずつ検討して作ってみて、自分たちで実際にプレイして、プレイしたときに客観的に見ていろんなパターンを試行錯誤していきました。制作するうちに自分たちが楽しめるようなゲームを作りたいという気持ちになってきて、ますます制作に熱中しました」(児玉)
「プレイヤーの対象の年齢層が幅広く、普段パソコンを使用しない世代の方々にも楽しんでもらわなければいけないという課題がありました。自分たちがこだわったのは、操作感をイージーにすることです。最終的に左矢印キーと右矢印キーだけで操作することで、ルールさえ理解できれば簡単にできるゲームシステムにしたのが楽しいゲーム体験を作る鍵でした」(生田)
コンピュータ支援3D内視鏡から傾聴型チャットボットまで
続いて、鈴木寿先生の研究室に伺った。鈴木先生は自らががんサバイバーであり、胃がんの手術を受けた経験から、コンピュータ支援3D内視鏡の研究を進めている。従来の内視鏡は凸凹が見分けづらく、病気を見逃すこともあったかもしれないが、鈴木先生が開発したコンピュータ支援3D内視鏡は裸眼で観察できる高精細空間再現ディスプレイにて体内の奥行感だけでなく凸凹も詳細に見ることができるのが画期的だ。高精細空間再現ディスプレイはUnityに対応したSDKが提供されているので、Unity上で高自由度な開発が可能となる。日本医学会総会にて学術展示し、好評を得た。
鈴木研究室の水谷林太郎さんは、鈴木先生と同じく裸眼立体視ディスプレイを使い、自然言語対話システムによってUnityちゃんとリアルで自然なコミュニケーションが取れるチャットボットの開発を行った。裸眼立体視ディスプレイは対話者と目線を合わせてくれるうえに、さらにゲーム機用のモーションキャプチャ・システムを併用することで対話者の動きをキャプチャし、姿勢ミラーリング(相手の姿勢を真似して親密感を高める心理効果)によって親しみを感じてもらうための様々な工夫を施している。
「開発のきっかけは、人間のパートナーになるような賢いチャットボットを作りたいと考えたことでした。開発しているうちに、もっと人に寄り添えるようなチャットボットにしたいと思い、最終的に傾聴型チャットボットの開発に行き着きました。傾聴の方法は、自分でいわゆるルールベースや統計ベースで作っています。相づち、おうむ返し、共感、深掘り質問、モダリティに応じた応答の5種類の組み合わせですね。例えば「食べようよ」と勧誘すると「いいですね、わかりました」と答えます。またコミュニケーションには非言語情報が重要なので、Unityちゃんの姿勢や表情もコロコロ変わるようにしていますし、他にはUnityちゃんに呼吸をさせたり、会話のテンポやまばたきを工夫して自然さを出しています」(水谷)
「Unityはアバターの制御部分で結構多く使っています。公式ドキュメントが充実しているし、コミュニティが活発でいろいろ調べるのが楽だったり、カスタマイズ性が高いというのも魅力ですね。このチャットボットは若者向けなので、アニメ調のキャラクターを使ったというところでさらに親しみを持ってもらえる場合が多いです。バーチャルアバターならではの呼吸とかの細かい動きであったり、表情がすぐに変わったりというところがこのシステムのメリットになっていると思っています。悲しい話のときに悲しい表情をしたり、姿勢ミラーリングの効果も大きくて。実際に体験してもらって『自分の話を聞いてもらえていると感じた』というフィードバックをもらうのがうれしいですね。実は、実際に『自分がミラーリングされている』と気づく人は3割程度しかいないのですが。心理学でメラビアンの法則というものがありまして、コミュニケーションにおける情報量というのは、言語情報が7%で、残りの93%が非言語情報によってコミュニケーションが行われているというものです。究極的には非言語情報だけでもコミュニケーションできるのではないか、ということを追求しています」(水谷)
Unityと3Dプリンタで作られた魔法使いになれるゲーム
鈴木研究室の今枝俊輔さん、栗山悠さん、金子健太郎さん(チーム名:ちょこころね)が制作したのは、3Dプリンタで作った杖と連動したアクションゲーム「MagicCraft」だ。ゲーム機用のモーションキャプチャ・システムによってプレイヤーの身体動作をキャプチャし、杖を振ることで4種類の魔法を敵にぶつけて倒す。まるで自分が魔法使いのようになった体験ができるゲームだ。制作者の今枝俊輔さんにお話を伺った。
「没入感をキーワードに作りました。杖の動かし方によって違う魔法が出ます。半円を2回描くようにすると氷の魔法が、円を描いて下にスッと降ろすと雷が出てきます。計4種類の魔法を作って実装しました」(今枝)
3Dプリントで制作したオリジナルの杖。世界観を壊さないよう底部分に蓋を施すなどデザインにもこだわった
杖は3Dプリンタで自作し、ゲーム機用のモーションキャプチャ・システムと連動した。ゲーム機用のモーションキャプチャ・システムによる骨格検出でプレイヤーの動きをターゲッティングし、杖の軌跡をBluetooth経由でPCに入れたUnityと繋いでいる。
「杖の中にはCPUと慣性計測ユニットを入れているので、加速度とジャイロなど9軸のセンサが入っています。カルマンフィルタを使って姿勢推定して、そこから軌跡を検出して登録されている軌跡と一致するか。そして一致率が一定以上高かったらOKということで検出するという感じですね。BluetoothデバイスでPCとつないでUnity側に送信しているので、ケーブルが要らないのが特徴です。やっぱりケーブルがあると魔法の杖感がありませんからね」(今枝)
さらに展示のことも考え、Bluetooth Low Energyという規格を使ってバッテリーの電源管理も行った。5時間連続稼働できるという。また杖に入っているCPU(MPU、マイクロチップ)の処理能力に制限があるため、3次元でのプレイヤーの動きを2次元に落とし込むのにも苦労した。
「MagicCraft」は2023年画像・映像コンテンツ演習4(4年生)にて最優秀賞を受賞した。
【参考】 https://www.chuo-u.ac.jp/academics/faculties/science/departments/infotech/news/2022/07/61594/https://sites.google.com/g.chuo-u.ac.jp/cuise/classes
「空中に描かれた軌跡の特徴点を検知し、プレイヤーがちゃんと魔法を描けているかという判定は、プレイヤーが持っている杖の根元に光源があると想定して影を映すという考え方で解決しました。プレイヤーが色々な速度やサイズで魔法を描いても反応する、しかも省メモリで。かなり実装には苦労しましたが、ハードウェア、ソフトウェア、デザインなどすべてにおいて頑張りました(笑)。ハードウェアとソフトウェアは、最初に規格を決めたのが良かったですね。最終的に合わせたときに食い違いが発生しませんでした」(今枝)
アイデアと高い技術力の組み合わせがシナジーを生み出す中央大学理工学部。鈴木先生は「これからも新しい人才を育てていきたい」と語る。