2018年11月1日〜4日まで日本科学未来館(東京)にて開催された世界規模の音楽とテクノロジーの祭典「MUTEK.JP 2018」。
同イベントでKDDIとKDDI総合研究所は、モナ・リザを題材にしたXRインスタレーションを公開しました。

©MUTEK Japan

このインスタレーションを体験するためにスマートグラスとヘッドフォンを着用します。すると目の前にあのモナ・リザが登場。
歩くごとに、モナ・リザが手を振ったり、スマホをかざしたりといった動きをしたり、音楽も変化していきます。

これはスマートグラスの位置・向き・傾きをリアルタイムで処理し、モナ・リザの映像と楽曲の書き出しを行い、グラスに配信されるという仕組みで、これらが遅延なく、フレームごとに処理・配信することで、この作品が実現しています。

©MUTEK Japan
空間奥に置かれた椅子にはモナ・リザが座っており、螺旋の柵に沿って歩いていくとモナ・リザの動きや音楽が変化する。

映像には「自由視点VR」という技術を応用。複数のカメラ映像から人物や背景映像を自動で抽出し、3DCGで表現することで実際のカメラ映像がないアングルからの映像鑑賞を実現したもの。
また、動きに合わせて変化する音響効果は「音のVR」技術を応用し、視聴者の操作や動作に応じたインタラクティブサウンドを合成。実空間とインタラクティブなサウンド体験を実現しています。

今年のMUTEK.JPのテーマである「Block Univers」は、空間に時間が紐づいているという概念。国や時間、ジェンダーなどを越えて、一つの場にいろんな人が集まる、こうした場に、自由視点VRの技術がはまり、アートで表現するとしたらモナ・リザがぴったりではないか、という発想からスタートしたと語るのは、このインスタレーション制作に関わったクリエイティブ集団「da Vinci ers」。

物理的な距離は遠くても、通信によって音や視覚などのコミュニケーションの距離はどんどん近くなる。それが来る5Gの時代。

今回は限られた空間での展示でしたが、今後はこのようなインタラクティブなデジタルコンテンツをもっと広い空間、たとえば街の中などで、不特定多数の人に楽しんでもらえるような規模へと発展させていきたい、これからは単なる通信ではなく、“コミュニケーション”を創っていきたいとKDDI総合研究所の内藤整さんは言います。

そうしたコンテンツは近い将来訪れる5Gによる大容量データ通信が可能になる頃には、私たち人間の五感を大いに刺激し楽しめるようなリッチな体験がもたらされるだろう…。アートの中でコミュニケーションをする時代に入ってきた、そんな予感を彷彿とさせるインスタレーションでした。

(CREATIVE VILLAGE編集部)