2009年に結成され、ARの領域をいち早く先導してきた開発者ユニット・AR三兄弟。活動開始当時と現在を比較して、彼らはこのように語ります。
「こんなに恵まれた時代はないと思います。やりたければできるツールが何でも揃っている。Unityがあり、チュートリアルがあり、開発事例がある。スマホのOSの近くにはARKitやARCoreなどミドルウェアが最初から用意されている。LiDARだって安く手に入るし、うっかりスマホに内蔵されている。AIだって、ちょっと頑張れば実装できる。量子コンピュータも100万円台から買える。誰でも、何だって作れてしまう時代です」
ここ数年、AR三兄弟は「パフォーマンス込みで観客を驚かせたい」という結成時の想いに原点回帰しているそうです。
例えば、テクノロジーと音楽の祭典「J-WAVE INNOVATION WORLD FESTA（以下、イノフェス）」で長渕剛やヴァーチャルDREAMS COME TRUEとコラボレーションした舞台演出や、ARを用いて東京・日本橋という舞台を拡張させたデジタルアート『能ミュージック、能ライフ。』などを手掛け、新鮮な体験を与えています。
その他にも、多くの作品制作にUnityが活用されているといいます。
企画的にも、技術的にも、挑戦的なアプリケーションやパフォーマンス。なぜ、AR三兄弟は次々に実現できるのでしょうか。その理由について「ガラケー時代からARを開発してきたこともあり、スペック的に作りたくてもまだ作れないという悔しい思いを過去にたくさんしてきました。その未練を忘れないで引き出しにしまってあるんだと思います」と川田さんは答えます。
豊富な実績から、今回は芸能や都市開発などの領域を中心に取り上げながら、ときにUnityなどの技術を駆使してARの企画を成功させる技術や心構えについて、川田さん、映像を担当する“次男”の髙木伸二さん、プログラミングを担当する“三男”のオガサワラユウさんにお聞きしました。
AR三兄弟：長男 川田十夢、次男 髙木伸二、三男 オガサワラユウによる、やまだかつてない開発ユニット。2009年から、とくにAR（拡張現実）に関するネタ（俗にいう作品のこと）を連続的に発表。芸能から芸術、長渕剛から学研の科学まで。その拡張範囲はブラックホールのように、東京でいうと東急ハンズ渋谷店のように広大である。
プログラミング × パフォーマンスの鍵は「いかに予定調和をなくせるか」
──AR三兄弟は多方面で作品を発表されています。2022年10月には「イノフェス2022」でヴァーチャルDREAMS COME TRUEを拡張現実に登場させていましたよね。
長男：これはね、グッと来るパフォーマンスだったんですよ……。「未練を胸に、何度でも。」というnoteにも書いたんですが、観客が200人以上いる六本木ヒルズの舞台で、ヴァーチャルドリカムのMIWASCOがドリカムのワンダーランドのように空を舞うんです。
もちろん、ARでの話ですよ。ステージ上には白衣を着たAR三兄弟しかいません。ヴァーチャルドリカムがステージに登場することで、本体であるドリカムが楽曲提供してきたソニック・ザ・ヘッジホッグ、ガンダムと夢の共演ができる。僕たちは僕たちで、勝手に思い入れのある野球盤を持ち込んで通常のライブではあり得ない展開を披露する。観客は会場に設置された画面越しに、生でパフォーマンスを体験できる。
ドリカムってずっと王道、メインストリームを辿ってきているようなパブリックイメージがありますが、実は音楽的にも興業的にも実験の繰り返しなんですよね。新曲の『スピリラ』もディストピア感満載でめちゃくちゃ攻めてる。4年に一度開催しているライブの「ワンダーランド」なんて、夢みたいなパフォーマンスの連続ですから。
もともとAR三兄弟は「人前でウケたい」というモチベーションから始まったんです。2009年に始まった「AR忘年会」という、技術者や専門家たちがあつまり、自分たちの技術を無駄に駆使して宴会芸を披露するイベントが原点でした。
それ以来、AR三兄弟は13年以上活動を続けていますが、最近はその気持ちに回帰しているところがあります。開発ユニットとして考えても、自分たちでパフォーマンスまでする人たちは存在しませんから。専売特許みたいになっています。
──こうしたパフォーマンスは、基本的にアーティストとのコラボレーションから始まるのでしょうか？
長男：例えば、イノフェスでは毎年誰かしらのアーティストと新たなパフォーマンスを開発しています。テクノロジーを使った演出でいつも気をつけているのは、普段の単独公演では見られないアーティストの側面を出すことです。テクノロジーを使った断面図のようなものです。
きゃりーぱみゅぱみゅさんのときは、本人の腕に筋肉から出る電力を拾える「筋電センサー」を付けて、その動きの情報を逆算してARにオブジェクトを出しました。つまり、Unityを経由して、アーティスト本人の身体をARの動作に連動させたわけです。
特に思い入れが深いのは、長渕剛さんの演出ですね。長渕さんは普段、自分自身でライブの舞台監督やディレクションを担当していると知り、驚きとプレッシャーがすごくて。これまで誰も長渕さんのコンサート演出に加わったことがないからこそ、どうにかして「新しい長渕剛」を観客に見せていきたいと思いました。
そこで開発したのが、プラネタリウムを会場にして、長渕さんのギター奏法に呼応して銀河系の星々がきらめくという演出です。そもそもプラネタリウムに長渕さんをお呼びする時点でけっこう攻めているので、企画の意図を理解してもらえるかどうかドキドキしました（笑）。会話してみると、学生時代にプログラミングを学んでいたこともあったりして、意気投合。真剣勝負することができました。
──ドリカムも長渕剛さんも、パフォーマンスの技術的な部分はUnityで実装されている？
三男：ヴァーチャルドリカムのARも、長渕さんのプラネタリウムもUnityですね。長渕さんの場合は、ギターの音色をその場で解析して、リアルタイムで球体状のスクリーンへ音に合わせた光を照射するところまでUnityで作っています。もちろん、他にも機材を組み合わせてオリジナルで開発するので、Unityだけで簡単にできるわけではない……とは伝えたいですね。
長男：しかも、技術的には実現できたとしても、演出面でさらなる調整が必要になります。印象的だったのは、長渕さんが「余韻が大事だ」と何度も仰っていたこと。
例えば、テクノロジーが好きな人は、どうしてもスピード感を演出したがるものです。爪弾いた指の動きや、カッティングの速さに反応するように光や音を出そうとしてしまう。でも、長渕さんは「音が生まれて消えていくまでには余韻があるはずだ」と言いながら、曲の世界や、情感に即した光の演出にこだわる。だから僕らも、音から光を照射するスピードを遅らせたり、ジンワリと光が消えていくようにしたり。
たぶん、長渕さんにとって音楽とはそういうものなんです。パッと出てパッと消えるのではなく、心に引っかかって残るものなんだと。
次男：あとは、プログラミングでパフォーマンスする場合は、いかに予定調和をなくすかを映像的にも考えますね。
たとえば、「イノフェス2022」のヴァーチャルドリカムのパフォーマンスは、3Dモデルが現実に出現したようなライブ感を出すために、2つの工夫を施しています。一つは3Dモデルをカメラ目線にさせること、もう一つはフォーカスの切り替えです。この有無で、臨場感はかなり変わりますから。
『能ミュージック、能ライフ。』に見る、企画の立て方と技術の作り込み
──デジタルアート『能ミュージック、能ライフ。』は三井不動産の創立80周年記念事業の一貫でした。こうした企業との案件は、どのような経緯で始まることが多いのでしょうか？
長男：この案件は、三井不動産さんから「日本橋を拡張してください」とご相談いただいたことが発端です。僕たちが手掛けるARは、相談相手にしても「何か斬新なことがしたい」といった漠然とした要望から始まることが多くて、だいたいゼロから企画を考えています。
『能ミュージック、能ライフ。』の発端は、日本橋という場所が室町時代から歴史的につながっていることと、やがて能につながる伝統芸能の種が室町時代に発祥している、という“重なり”をARで表現することにありました。
そこで、能楽師の動きをモーションキャプチャーしてデータ化し、立体的なARとして見せているのですが、ただ能を舞ってもらうのではなく、街にいるサラリーマンや女子高生などに扮してもらっています。能楽師の本来的役割を現代に翻訳して、現代と室町という2つの時代を重ね合わせたわけです。
こうしたARによるオーバーレイは、次の都市開発の大きな流れになると思います。都市開発、特に駅前開発はどこも似たような形になりつつありますよね。だから、ハードウェアではなくソフトウェア、たとえばARによって都市にとって「別のあり方」を提示したいというニーズが生まれているのだと思います。
──『能ミュージック、能ライフ。』を試してみて驚いたのは、ARマーカー無しに、街のある特定の位置に出現させられることです。さらにARのまわりを自分がぐるっと回り、360度どこからでも鑑賞できますよね。
長男：能や、その舞台である能楽堂は、基本的には客席から一方向でしか見れないものです。だから「能そのものの拡張」も考えてみると、「どの角度からでも能の舞いが観られる」という楽しみ方を、ARならば提示できると思いました。
さらに、映像は止めたり巻き戻したり、速度の調整も可能です。空間的にも360度観られるし、時間的にも制御できるという、今までにない空間芸術の見せ方が実現しました。
三男：驚いたと言っていた「ある特定の場所にARを出現させる」という技術は、どんどん進化しているんです。一部のエリアでは、その場所の特徴点としての「アンカー情報」を取ることで自由に配置できるようになります。
また、いまは位置情報を特定する手法もGPSから「VPS（Visual Positioning Service、ヴィジュアル・ポジショニング・サービス）」に主流が変わってきています。簡単に言うと、ARを表示させるデバイスが「どの場所から、どの方角を向いているのか」をリアルタイムに特定する技術ですね。今後は場所を特定したARは、もっとやりやすくなると思います。
次男：映像面でも工夫を凝らしています。浮世絵や日本橋など、古いものを拡張する際には古めかしさの表現が大切です。そこで重要になるのは、テクスチャーの質感です。
大前提として、ARはそのまま作ろうとすれば非常にデータが重くなるので、映像を軽量化して動作を安定させる作業が必要になります。しかし、軽量化を目指してテクスチャーを簡素にしていくと、それだけ映像にリアリティが無くなってしまう問題が起こる。
そこで僕たちは、身の回りにある石や紙、木の質感を少し加えた、より日常に馴染むようなテクスチャーを意識的に使っています。誰もが触ったことのある素材を使うと、軽量化しても手触りにも近いような質感が最後まで残るんです。現実とバーチャルの狭間にあるテクスチャーにこだわることで、時空を超えて日常と繋がるような感覚がARでも生み出せるのです。
初学者がARをモノにするためのファーストステップ
──ARの制作において、Unityを使う理由を端的に言えば何でしょうか。
長男：Unityはシェーダーがかなり優れているので、ビジュアル表現にはとても向いています。僕らはFlashをメインにして開発をしていた時期があるので、余計に使いやすいのかもしれません。見たことのない質感を出そうと思ったら、やっぱりUnityの表現力が未来に一番近いと感じます。
また、例えば都市開発の案件では、制作したARをそのまま商用でも使いますから、しっかりしたクオリティの映像を扱えるツールでなければ厳しい。大きなお金が動いたり、たくさんの人の関心を集めたりするときほど、安定して動作してくれるUnityのメリットは活きますね。
──先ほど例に挙げていただいたようなARの演出をやってみたい初心者は、何から始めるべきだと思いますか？
三男：最初は、やっぱりチュートリアルをこなすことでしょうか。それだけでも十分に技術的なコツを掴めると思いますね。あとは「自分の好きなもの」をまず組み込んでみるのが一番です。
絵を描いて、写真を撮って、それをテクスチャーにして出すだけでも、作品への愛着が湧いてきます。そうやって自分のエッセンスを作品へ取り入れることで、「技術が自分のものになっていく感覚」が得られるはず。
あとは、「できることから拡張していくこと」も大事かもしれません。ゼロイチで作るのではなく、出来上がったものから足し算や掛け算で派生させるとやりやすいです。チュートリアルから発展させてもいいし、知っている技術を元にしてもいい。「今はこれがあって、これならばできるはず」というケーススタディを積み重ねていくと、どんどん技術的にも成長して、結果として作りたいものが作れるようになっていきます。
長男：あと、やはり初心者にはUnityを触り始めることをオススメしています。現在はチュートリアルがあり、参考文献がたくさんあり、ARKitだって最初から用意されている。やりたければできるツールが何でも揃っています。
というより、こんなに恵まれた時代はないと思いますね。LiDARだって安く手に入りますし、どんどん手を動かせば何だって作れてしまいます。
──とはいえ、これからARを始めることに「ハードルが高い」と感じる方も多いのでは、と……。
長男：ARは現実の拡張です。だから、「よし、ARをやろう」と思うよりも、「自分の周りで何を拡張したいだろうか」という想いを持つことのほうが大事ですね。イメージを持った上で、適切な技術やアセットを探しながら試してみる。その順序のほうが、予想していた以上の面白いものが生まれることが多いはずです。
あとは、三男が言ったような“掛け合わせ”の連続です。「この場所でこれを拡張したい→今できる技術はこれがある→だから、これならうまく作れるはず」と、見立てや組み立てを続けていれば、いつの間にか作れるようになっているでしょう。
「衝動」と「未練」を元に作り続けていく
──つまり、作りたい想いとイメージがあれば、技術は後からついてくる。
長男：そう思います。先にあった方がいいのは「衝動」ですね。「これができたらきっと楽しいはず」という想いを出発点にすることが大事で、テクノロジーはその都度考えればいい。
先ほど話したように、2009年にAR三兄弟を結成した時から、僕たちは「人前でウケたい」という気持ちで活動しています。まだ技術が整っていなかった初期の作品は、手書きの鳩が「プルップー」と鳴きながら飛んで戻ってくるだけだったりする。たまたま「何かが飛び出る」という技術があったので、衝動的に作ってみたものです。
それを作ったあと、人前で披露してを繰り返し、その反省を踏まえてまた作り、披露して……、時には宣伝のためにティッシュ配りしたり。それを繰り返しているうちに、今の仕事に繋がっていったんです。
あくまで最初はパフォーマンスで注目が集まり、今では大きな企業からも声がかかるようになりました。オファーがあってからARを開発する人もいまはいるでしょうけど、一部の研究所を除いて、なんのニーズも先行事例もない時代から、ARの開発と啓蒙を同時にしてきた自負があります。
13年前とは違い、現代では「こういうUnityのアセットがあるから、これを作ろう」という考え方から作り始めることも可能です。それは否定しません。今は今の作り方があると思いますし、僕らも普通に、ユニークなアセットから逆算して新ネタをつくるときもありますからね。
──そもそも、「これを作りたい」という着想はどのように生まれてくるのでしょうか？
長男：最初は、何に使うかわからないプロトタイプを作ってみることが大事です。何でも良いから作ってみて、出来上がったら、それを掛け合わせたい相手を探して会いに行く。全ては、プロトタイプを作ることから始まります。
例えば、『電脳のメリークリスマス』という作品は、ラジオ放送で明かされるヒントを頼りに、ある街をARアプリでスキャンしながら、隠されたプレゼントを探すという宝探しのようなゲームです。実際にプレゼントを見つけ出すとPayPay残高が増えるんです。
これの発端も、いろいろな技術に触れているうちに、たまたまARとPayPayが繋がることが判明したことでアイデアが生まれました。「それならPayPayと協業してみよう」と盛り上がり、実際に会社ともアポイントをとって社長と話し、いまは（運営元の）Zホールディングスのみなさまとともに、未来のプロトタイプにつながる提案をしています。
プロトタイプを作るモチベーションとして大事なのは「未練」です。ものづくりをする人ならば、何かを作って披露するたびに、「これはできたけど、これはできなかったな」という未練が少しでも残るはず。できなかったことを見過ごさずに、次に向けて何かしら前進できるように準備する。その繰り返しが、いつしか「誰も作ったことがないものを開発し続ける」モチベーションにつながるのだと思います。
ARでこれから目指すのは「人間に馴染むテクノロジー」
──これまでの作品を振り返りながら、AR三兄弟が作るものには何かしらの共通点はありますか。あるいは「核」となる考え方は何でしょうか？
長男：僕たちの活動は、テクノロジーを使うこと自体を目的にしていません。あくまで追求しているのは「人間に寄り添う表現」です。
テクノロジーを目的にした表現は、速度が早かったり、クールだと言われることを追求しがち。「人間に馴染むこと」は全くベクトルが異なります。もっと人肌に近くなって、温かく、ぬくもりがある。そんなテクノロジーの使い方があるはずなんです。
どうしてもカッコ良いものを作りたくなる気持ちもわかります。それをグッと堪えて、自分の体温や皮膚感覚に寄せることを大事にしています。
──人間に寄り添う表現を追求している。そうすると、今後はどのような作品を作ってみたいですか？
長男：人間と向き合うことを考えると、福祉など高齢化社会をテーマにしてみたいですね。あと、逆に子どもたちに目を向ければ教育領域でしょうか。たとえば、Unityを使っていろんな教科書や絵本を拡張してみたいと思っています。
『学研の科学 付録の拡張 vol.1』では、難しいロケット工学がわからなくても、どのようにロケットが飛ぶのかをARで体験できる付録を作りました。また、天井にARでポイントを作ると、重力が反転してそこに物が吸い寄せられる仕掛けも乗せました。
こんなふうに原理や法則を可視化して見せることで、さまざまな教育のあり方を実現させたり、「想像の余白」を伝えられると考えています。
また「身体」という観点では、『VIRTUAL NIPPON COLOSSEUM』という文化庁との取り組みを公開しています。作品のテーマは「日本のいま残したい人体」です。磨き込まれた身体性を持つスポーツ選手や民族的なお祭り行事などのモーションとフォルムを、「経験の見本市」のようにARで購入できたらいいなと。
まだ何を言っているかよくわからないと思いますが、来年以降も続けることでだんだんわかってもらえるかと思います。
繰り返しますが、こうした作品は必ずしもカッコよくなりません。人間の体温や皮膚感覚に寄っている表現は、ちょっと「ダサく」なります。「AR三兄弟」という名前も同じです。そもそもカッコつけたい人たちはこんな名前付けないですからね（笑）。青白く光るだけのテイだけの未来感なんて、もういらないと思っています。
新しい技術で最速を記録するよりも、凄味で圧倒するよりも、人間が振り落とされないスピードを保ちたい。普段使いできるテクノロジーを探りたい。長渕剛さんが教えてくれたように、そこにある情感を無くしたくない。ドリカムが続けている「ワンダーランド」のように、夢みたいなことを実装し続けたい。最先端でありたいというよりは、こうした基本姿勢があるからAR三兄弟を続けられているんだと思います。
（文・石田哲大／編集・長谷川賢人）