ゲームやリモートワーク時の仮想オフィスなど、さまざまな場面での活用が進むVR技術。現実世界にいながらにして、異空間に飛び込む体験を楽しんだことがある人も少なくないでしょう。
一般的に、VR空間を体験するにはヘッドマウントディスプレイなどの専用デバイスが必要です。しかし、本記事で紹介するPortalgraphという技術は、プロジェクターやテレビのような身近なデバイスを活用することで、ヘッドマウントディスプレイが生み出すような没入感のあるVR体験を提供します。
開発を手掛けたのは、これまでさまざまなVRコンテンツを手掛けてきたエンジニアのROBAさん。そして、東京藝術大学の教授であり、メディアアーティストである八谷和彦さんはPortalgraphに魅了され、この技術を活用した「HomemadeCAVE」という作品を制作しました。この作品は、東京藝術大学美術館で開催されている「長谷川祐子退任記念展 『新しいエコロジーとアート』」（2022年5月28日〜2022年6月26日）で楽しむことができます。
本記事では、展示準備を進めている八谷さんとROBAさんを訪ね、Portalgraph開発の裏側を聞くとともに、「HomemadeCAVE」を体験させていただいた様子をレポートします。Unity Japanのコミュニティ・アドボケイトの田村幸一が聞き手を務めました。
八谷和彦
メディアアーティスト 1966年生まれ。
九州芸術工科大学（現九州大学芸術工学部）画像設計学科卒業、コンサルティング会社勤務の後（株）PetWORKsを設立。現在は東京藝術大学先端芸術表現科教授。作品に《視聴覚交換マシン》や《ポストペット》などのコミュニケーションツールや、ジェットエンジン付きスケートボード《エアボード》やメーヴェの実機を作ってみるプロジェクト《オープンスカイ》などがあり、作品は機能をもった装置であることが多い。
ROBA
株式会社Portalgraph CTO 1974年生まれ。
様々なSI、Web企業などをプログラマーとして渡り歩いたが、社内恋愛の彼女に振られて会社に居づらくなったことがきっかけで2011年に独立。その後Oculus Rift DK1と出会いVRに没頭し、2016年に「なないちゃんとあそぼ！」を発表。現在はフリーランスエンジニアとして某Web企業の仕事をしつつPortalgraphを制作し、さらにImagine VR社の「くのいちと行く！ ～美少女忍者と秘密の特訓～」も制作中。
PortalgraphはVR体験を“民主化”する
──Portalgraphがどのような技術なのか教えてください。
ROBA：Portalgraphは、ユーザーの視点を元に計算されたCG映像を投影することで、スクリーンに3DのVR空間を表示する映像技術です。さまざまな角度から自由にスクリーン内の空間をのぞき込め、スクリーンが異空間への扉になったような体験を提供します。
──なぜ、この技術の開発に乗り出したのでしょうか？
ROBA：きっかけは、2020年に発売されたSONYの空間再現ディスプレイである『ELF-SR1』を体験したことです。裸眼で3D映像を視聴できることに衝撃を受け、ぜひ手に入れたいと思ったのですが、すぐに手を出せる金額ではなかった。ならば、自分でつくってしまおうと思い、Portalgraphの開発に着手しました。
──私たちは『ELF-SR1』の開発を手掛けた担当者の方々に取材した記事をnoteで発信しています。確かに『ELF-SR1』も高解像度の3DCGを裸眼で見ることを可能にする素晴らしいプロダクトですよね。
ROBA：Portalgraphの最大の特徴は、簡単に大画面で3D映像が楽しめる点にあります。必要なのは、市販の3Dプロジェクター、3Dメガネ、VIVEトラッカー、VIVEベースステーションとPCだけ。また、赤と青のセロファンをレンズ部分に貼ってつくる、いわゆる赤青メガネを着用して3D映像を見る方法にも対応しているので、3D映像用ではない通常のプロジェクターでも楽しむことができます。
一般的に3D映像によって生み出された空間を体験するには、ヘッドマウントディスプレイなど専用のデバイスが必要です。しかし、Portalgraphはそういった機材を用いずにVR空間を体験することを可能にします。
また、3D映像を大きく表示できることも、この技術の特徴の一つですね。さまざまなキャラクターを等身大で表示できますし、実際のスケールで風景を楽しめる映像を投影することもできます。
八谷：簡単に立体映像に入り込むような体験ができますよね。ほぼVR空間を再現していると言っても過言ではありません。特別な機材を必要としませんし、PortalgraphはVR体験を“民主化”する技術だと思います。
壮大で高価だったVR装置を、自宅でも楽しめるように
──八谷さんは、今回の展示会でPortalgraphを活用した「HomemadeCAVE」という作品を展示していますね。制作のいきさつを教えてください。
八谷：ROBAさんのご自宅でPortalgraphを体験させてもらって、簡単に大画面で3D映像を見られることに感動したことがきっかけです。
ROBAさんがプロジェクターを用いてスクリーンに3D映像を投影していたので、僕は3Dテレビを複数台使った「ミニCAVE」をやってみようと思い、PortalgraphをベーステクノロジーとしたHomemadeCAVEを制作しました。
──「自宅で3D映像を生み出せる」という意味で「Homemade」なのは分かるのですが、なぜ「CAVE」なのですか？
八谷：1992年にアメリカのイリノイ大学が発表した「CAVE」という装置があるんです。これは、「部屋全体が視覚提示装置」になっているVR装置で、壁3面と床に映像を投影し、体験者の視線の動きに映像を同期させることによって、映像の中に入り込むような体験を提供します。自宅でも体験できるCAVEだから「HomemadeCAVE」というわけです。
ちなみに、CAVEを発展させたのが、1997年に東京大学が開発した「CABIN」です。CABINは壁と床に加え、天井にも映像を投影することで、より没入感のある体験を提供する非常にすぐれた技術です。しかし、これはおそらく数億円をかけて開発された大掛かりな装置であり、機材やコンテンツの更新にもコストがかかるためか、2012年には撤去されてしまって現在は体験できません。
──VR空間に飛び込むような体験を提供する技術は昔からあったものの、その開発や維持には多額のコストを必要としたのですね。
八谷：CAVEやCABINが開発されてから20年以上が経過しました。VRゴーグルが発達した現在ですが、いまならCAVEなどの装置も、より簡単に、安価に実現できるし、みんなでVR体験を共有する良い方法になるのではないかと思い、HomemadeCAVEを開発したんです。
「映像が飛び出す」のではなく、「映像に飛び込む」ような体験
ここからは、実際にHomemadeCAVEを体験した様子をレポートします。HomemadeCAVEを体験するために必要な準備は「偏光フィルムを使った立体グラスの装着」だけ。
最初に拝見したのは、メールクライアント『PostPet』のキャラクター・モモが草原の中にある部屋でくつろいでいる映像です。
体験者が被っているのは、VIVEトラッカーを装着したキャップ。これによって体験者の視線の動きをトラッキングし、その動きと映像を同期させます。
続いて拝見したのは、ユニティちゃんのライブ映像です。
ユニティちゃんが歌って踊る様子を、3Dでさまざまな角度から楽しむことができます。電気を暗くすれば、そこはまさにライブ会場。ユニティちゃんが飛び出してくるというより、視聴者がユニティちゃんのいる世界へ飛び込むような体験を味わえます。
HomemadeCAVEは、“ロストテクノロジー”の集合体
──想像以上に没入感がありました……！ヘッドマウントディスプレイなどが提供しているVR体験を、とても気軽に味わえました。
八谷：そうですね。HomemadeCAVEの特徴は、最新鋭ではない機材を活用している点にもあります。
3Dテレビは2010年以降、テレビメーカー各社がさまざまな機種を発売していましたが、2016年以降は新機種が発売されておらず、“ロストテクノロジー”化しています。HomemadeCAVEの制作にあたっては、かつて発売されていたものをオークションサイトなどで集めるしかありませんでした。
3Dグラスも現在はほとんど生産されていないため、これもオークションサイトで揃えました。そういった意味では、オークションサイトありきの作品と言っても過言ではないでしょうね（笑）。ネクロマンサーのように、一度“死にかけた”技術や機材を再活用することで、作品を成立させています。
──希少性が高いとなると、制作のコストもかさんでしまったのではないでしょうか？
八谷：いえ、そんなことはないんです。私が使っている3Dテレビはパナソニックの2015年モデルの「TH-60(49)CX800」なのですが、まめに探せば60インチのもので5万円、49インチのは4万円ほどで購入できるので、そこまでハイコストというわけではありません。
現在はメタバースが盛り上がっていますし、VRコンテンツを作る人も増えてきましたが、一方で普通の人はゴーグルが重いとか、かぶるのに抵抗あるとか思っている人も多いはず。先程のソニー「ELF-SR1」や、Acerがこの夏販売する「SpatialLabs View」のような、裸眼3Dモニタが最近出てきていますし、「VRゴーグルを使わないVR」がリバイバルする可能性は大いにあると思っています。
HomemadeCAVEなどのデバイスも、その一部になってくれるといいですね。
──Portalgraphと3Dテレビ、3Dプロジェクターなどの機材さえ用意できれば、誰でも気軽にVR体験を楽しむことができるようになると。
ROBA：その可能性はあると思っています。あとは、Unityさえ使えれば大丈夫です。Portalgraph用コンテンツは、UnityにPortalgraphアセットを組み込んで配置するだけで制作できます。さまざまなプログラムを簡単に組み込めるという意味において、Unityはとても便利ですよね。
これまで10年以上Unityに触れてきて、その利便性や拡張性に魅力を感じていました。今回も映像データとソフトウェアのつなぎこみを考えると、Unityがベストだと考えたので、Portalgraphの開発においても利用しようと。
──開発における苦労などはありませんでしたか？
ROBA：CAVEが生み出された時点で、基礎となる理論自体は確立されていたので、開発上の苦労は特にありませんでしたね。今後はどのような人でもより簡単に利用できるようにするためにも、UIの改善に力を入れていきたいと思っています。
さまざまなテクノロジーと組み合わせが、VRの未来をつくる
──今回の展示の狙いはどのような点にあるのでしょう。
八谷：まず多くの人にHomemadeCAVEに触れてもらって、感想を聞きたいと思っています。さまざまな人の感想が、今後の普及の参考になると思っているので、たくさんの人に体験してもらいたいですね。
そして、実際に触れた方々が「これなら自分もできるかも」と、コンテンツ制作にチャレンジしてもらえれば嬉しいです。
──今後、VRや3D映像といった領域でどのようなチャレンジをしていきたいと考えていますか？
ROBA：初めてVRを体験したとき、大きな衝撃を感じ、感動を覚えたのは僕だけではないと思います。しかし、広く普及したことによって、その感動は薄れてしまいました。そんな中でも工夫をこらせば面白いものはできるし、まだまだ感動を与えられる余地はあると思っているんです。
これからさらに汎用性を高めていき、多様なコンテンツをPortalgraphで楽しめるようにしていきたいと考えています。たとえば、さまざまな規制が緩和されつつあるとはいえ、コロナ禍によって旅行がしにくくなっていますよね。海外の風景を簡単にVR化して楽しめるようにすることで「おでかけ欲」を満たす、そんな使い方もできると思っています。
八谷：Portalgraphは、他の技術と組み合わせることによって、より大きな力を発揮できると思っています。たとえば、被写体をさまざまなアングルから撮影し、そのデジタル画像を解析、統合して立体的な3DCGモデルを作成するフォトグラメトリーとの相性はかなりいいでしょうね。
組み合わせと工夫次第で、活用できるシーンは広がっていくと思います。ぜひいろんな人にPortalgraphとHomemadeCAVEを体験してもらい、「こんなこともできるかも」とアクションを起こしてもらえると嬉しいですね。
※八谷さんが展覧会に際してまとめているnoteのマガジンはこちら。HomemadeCAVEの詳細や展覧会の備忘録など、VRやメタバースに興味のある方、エンジニアの方、PortalgraphやHomemadeCAVEに興味がある方は併せてぜひ。
【お知らせ：HomemadeCAVEのデモ展示】
7月11日（月）から18日（月）の予定で、GINZA SIX 4階アトリウム吹き抜けレストスペース付近において、HomemadeCAVEのデモ展示が開催される予定です。こちらではPortalgraphショーケースとして、龍 lilea（藤原 龍）氏、VoxelKei氏、クワマイ氏、GOROman氏が制作した作品も加えて、デモ展示される予定です。（入場無料）
（文・鷲尾諒太郎／写真：木村文平）