大阪・関西万博「ANIMA!」で実現
音・振動・映像が融合する“脊髄反射レベル”のXR音響体験とは

クライアントが抱えていた悩み：
万博という特別な舞台で、「前例のない体験」をどう実装するか

企画初期を振り返り、クリエイティブディレクターの馬場氏はこのように語ります。
「企画段階の頃、河森さんはいかにして今までにない「内容」と「手段」を組み合わせ、万博の場にふさわしい、未来を志向する展示に仕上げるか、非常に悩まれていました。」
「内容に関しては、河森さんらしい様々ないのちを感じるモチーフへの好奇心と、その基底にあるいのちへの深い洞察をお聞きしていたので、そういった知見をもとに、アニメーション監督としてすごいものを企画するだろうと、信じていました。ただ、その内容を伝える手段を、既存の映画館などのフレームに収めず、全く新しい体験として届けたい、という河森さんの意向があり、そこは僕がいちばんお手伝いできるところだなと思いました。30人の参加者が同時に体験する意味を持たせること、単なる劇場での鑑賞ではなく、参加者もこの世界の一部であることを感じさせること、そういった演出が大事だと考え、企画を整えていきました。」

「万博という未来を感じさせる舞台の演目である以上、今までに無いものを作らなければなりません。このゴールの見えない、通常のプロダクションワークを超えた仕事をやりとげるチームを作ることが、最初の苦労でした。」

脊髄反射レベルでの五感体験を実現するための設計概要

「生命のつながりを“理解”ではなく“体感”させたい」
河森プロデューサーが目指した、全く新しい体験のフレームで「あらゆるいのちの連鎖」を届けることを実現するため、

• 映像＝視覚
• 音＝聴覚
• 振動＝触覚

を別々に設計・制御する従来手法から脱却することに挑みました。
以下では実現に向けた主要な取り組み内容をご紹介します。

【取り組み①】空間演出に合わせた複雑なスピーカー・振動デバイスの配置・制御

ANIMA!は、複数の映像が壁面と、天井から吊られた紗幕に投影する空間です。視覚的に高い没入感を持つ空間演出に対し、音と振動でも同じ密度の没入感を生み出すことを目指しました。

設計上の工夫点

会場の天井・床面それぞれ四隅にスピーカーを配置するだけでなく、音のXR体験の「スピーカーを自由な位置に配置できる特徴」を生かして、下記の工夫を施すことで空間全体を音で包み込む環境を設計しました。

A：紗幕の集まる正面中央では、聴覚でも没入感を高める環境を構築

紗幕が複数枚集まり、視覚的にも重要な映像演出が現れる正面中央では、スピーカーの数を増やし上層・中層・下層の三層に配置しました。これにより、上下方向に連続した音の動きを持つ、ダイナミックでありながら繊細な演出が可能になりました。
例えば、登場するキャラクター達が上下に大きく弾むといった映像に合わせて、立体的な音表現をつけることが可能となり、映像に登場する生命体の存在感や躍動感を、視覚だけでなく身体感覚として体験できる設計となりました。

B：天井と床の上下から包み込む音で臨場感を向上

会場には、正面中央だけでなく、中小サイズの映像を投影する複数の紗幕が空中に設置されていました。この紗幕の上部にもスピーカーを設置し、さらに床型ハプティクス（人の歩行にあわせて多彩な振動フィードバックを実現するデバイス）からも音が出る構成としています。
これにより、空間内に宙吊りされた紗幕の映像の上下表現と連動して音が動いたり、Aの演出と床型ハプティクスを掛け合わせ、正面中央で上から下に降りてきた映像や音の演出が、そのまま体験者の足元の前から後ろに通過することで、部屋全体で地響きを感じて空間そのものに“入り込む”ような没入感を実現しました。

C：床型ハプティクスは動線上にバランスで配置

床型のハプティクスは、来場者の動線を考慮して人が立ち止まる場所に優先的に配置し、紗幕の真下など人が歩かないエリアには床型ハプティクスを設置しない、歯抜けのレイアウトとなっています。
こちらも自由なスピーカー配置が実現可能な音のXR体験特徴を活かして、必要なポイントに集中して配置して効果を出すことで、無駄を削減しながらも没入感を高める工夫を行なっています。
さらに制作ツールでは、3次元空間上で音や振動を視覚的に配置・確認しながら直感的にデザインすることが可能です。

D：子どもでも安心して体験できる“セーフティーエリア”を設計

没入感を追求する一方で、すべての来場者が安心して体験できることも重要な設計要件でした。出口付近にはセーフティーエリアを設け、音圧を抑えたゾーンをあらかじめ設計しています。

また、今回システムは下記構成となりました。

• スピーカー：20ch
• 床ハプティクス：236ch
• 映像：10台のプロジェクター
• 制御ソフト：vaud Studio®︎ + マルチスピーカー立体音響システム

【取り組み②】音と床振動デバイスを統合制御する専用システムを開発

立体音響システムの制御範囲をスピーカーだけでなく、床型ハプティクスまで拡張しました。これにより、音と振動をひとつのシステムで統合的に制御できます。本システムでは、以下のような表現・運用が可能です。

• 空間上で音と振動を直感的に制作でき、天井スピーカーから床下の振動まで、表現をシームレスに連動させられます。
• 床型ハプティクスが検知した踏み込みをトリガーとして、床下の振動だけでなく、天井スピーカーから音を鳴らすことができます。
• 制作ソフト上で床の踏み込みをエミュレーションして音や振動を発生させられるため、挙動確認や調整をスムーズに行えます。

使用技術：床型ハプティクス「Active Slate」
数少ないセンサーで人の微細な踏み込みの違いを検知し、多彩な音と振動のフィードバックを実現します。

【取り組み③】体験エリアで効率よく環境開発するための仕組み

本プロジェクトでは、「現場で作り込み続けられる環境」そのものを設計することが、体験クオリティを左右する重要な要素でした。完成形をあらかじめ定めるのではなく、試行錯誤を前提とした開発環境を、いかに現場に組み込むかが問われたのです。

課題：クリエイターが制作するベストポジションとシステム設置場所が離れており、効率の良い制作ができない

より良いコンテンツを制作するには、体験場所に近い位置に制作環境を構築することが理想です。しかし実際には、必要な機材は体験エリアから物理的に離れた機材庫に設置せざるを得ず、加えてそのスペースも非常に限られていました。
その結果、設定変更のたびに制作PCと音響PC間を往復する必要が生じ、開発効率を大きく下げる要因となっていました。

解決策①：低遅延なフルリモート制御機能を付加

音響PCを遠隔から制御するにあたり、一般的なリモート制御では通信データ量が大きく、遅延が発生する課題がありました。そこで、音の波形データはZoomなどの通話システムでも採用されている低遅延・高効率な音声方式（Opus）でリアルタイムにストリーミングし、制御に必要な情報のみをメタデータとして送信する方法を採用しました。
これにより、設定や演出を変更しても最小限の通信量で即座に再生でき、現場でもストレスなく音響調整を行えるようになりました。

解決策②：遠隔でソフトウェアをアップデートするツールを現地開発

より良いコンテンツを作り込むためにクリエイターからの要求や、頻繁なバグ修正により、音響PCのソフトウェアを１日に何度もアップデートする必要がありました。
一方、音響PCはサブ用含めると4～5台もあり、ソフトウェアを最新に差し替える作業を手動で行うことがとても手間になりました。このことが制作効率を大きく押し下げました。

そこで、vaud Updaterというサポートツールを開発し、アップデートしたいターゲットPCに常駐させることで、遠隔でまとめて更新できるように。良い体験をできるだけストレスなく磨き上げていくために、開発環境そのものも現場で更新し続ける。本プロジェクトでは、そうした姿勢で必要な仕組みを一つひとつ実装していきました。

来場者の反応

30代女性（美大系大学職員）

まず、会場の鏡と布の使い方が良かったです。床の振動もとても新鮮でした。ジャンプに合わせて魚が飛び出したりアニメーションが連動するのもすごく面白かった。後半、だんだん盛り上がって生命の躍動感を表現した演出は圧巻で、とても感動しました。

40代女性（デザイナー）

布との投影と前の映像が混ざった瞬間がすごく綺麗でした。音と振動によって没入感が高まり、さまざまないのちにつつまれるような感覚でとっても良かったです。途中で出てくるふわふわした生き物がカワイイ。

40代男性（制作会社）

ANIMA！というタイトルに興味深々でしたが、期待を大きく上回る内容でした。食物連鎖や生物の個体を超えた細胞レベルのいのちの繋がりを感じることのできる壮大なテーマが最先端のテクノロジーを使って表現されていて、没入感が凄まじかった。幾層にも重なり合うプロジェクションの映像が美しく、空間全体を包む立体音響も圧倒的でした。

30代女性

いのちの尊さや多様性を、言葉ではなく「感覚」で届けようとするこの試み。言葉でうまく言い表せない体験でしたが、終わってからもしばらく余韻が残るような、そんな不思議な時間でした。「視覚・聴覚・触覚」を使って感じるこの体験は、誰にとっても記憶に残るはずです。

30代女性

映像の美しさとともに音と振動に包まれる感覚が迫力があった。連綿と受け継がれる生命、それが世界とつながっているようなストーリーが技術で増幅されて恐ろしさ（畏怖の念）すら感じた。

パートナー 菅野よう子 氏　コメント

「SoVeC、ソニーPCL、寺坂波操さんの制作チームは本当に素晴らしいです。技術的にも人間的にも。長い期間、一緒に世界観を構築しながらたくさん刺激を受けています。新しい技術を開発していくっていう、締め切りはあるのに先の見えないストレスの中で、絶対あきらめない。彼らの力をお借りすることで、今までにない体験を作れたと思います。 河森チームは全員素晴らしいクリエイターたちです。また何か一緒に作れたら嬉しいです。」

プロジェクトスケジュール

通常の案件は、3か月～半年程度で導入するプロジェクトが多いですが、試行錯誤を要する巨大プロジェクトのため約1年の制作期間を要しました。

• 2023年10月｜立体音響の相談・デモ実施
• 2023年11–12月｜体験設計・音響プランニング
• 2024年1–3月｜技術検証（立体音響×ハプティクス）
• 2024年4月以降｜システム設計とストーリー並行開発
• 2024年10–12月｜立体音響MIX
• 2025年1–3月｜現地調整・運営支援

ポイント

映像に音を後付けするのではなく、「音から体験を組み立てる」制作フローを採用。結果として、空間全体に一貫した“時間感覚”が生まれました。