近年、VR/AR技術による没入型映像コンテンツを始め、私たちの感覚へ刺激を与え知覚を騙すような表現が増えています。いわば感覚をハッキングする、これらの知覚を操る行為は、人々の感じる「リアリティ」にどう影響しているのでしょうか？

KYO-SHITSU＃16では、人々が持つ五感や感覚について作品制作、研究を行う3名のアーティスト／研究者をお招きし、トークセッション中心のイベントを開催。日本における、嗅覚アートのリーディングアーティストであるMAKI UEDAさん。東京大学で教鞭をとられている博士（工学）の鳴海拓志さん。VR技術などのテクノロジーを自在に組み合わせて制作を行うメディアアーティストの坪倉輝明さん。3名による作品事例の紹介やトークセッションから、感覚をハッキングする表現や技術、そしてその先に広がる擬似体験型デジタルコンテンツによって拡張していく「リアリティ」について考えていきました。

会場となるWOMB LOUNGEでは普段、ライブやクラブイベントを開催しています。トークセッション会場として使われるのは本イベントのみ。特別に設えた会場にて、約10分ずつ​​の自己紹介と、トークセッション50分、そしてアフターパーティーを行いました。

まずは各ゲストの自己紹介から。各々の作品事例を通して、「感覚のハッキング」にまつわる取り組みを紹介してもらいました。

現実とデジタルの境のない空間を作る
メディアアーティスト 坪倉輝明さん

最初の登壇者は、VRやプロジェクションマッピングなどテクノロジーを自在に組み合わせ、現実とデジタルの境のない空間を作り出すメディアアーティスト／クリエイティブテクノロジストの坪倉輝明さん。アーティストとしての制作活動と、インタラクティブ広告などの受諾案件を半分ずつの割合でこなすことで、技術、表現、モチベーションといった様々なバランスを保っているそうです。

まさに感覚のハッキングをしている作品、とご紹介いただいたのは、2017年に発表した「不可視彫像／Invisible Sculpture」。空間には、美術館にあるような作品台がいくつか設置されています。しかし、そこにはひとつも作品がのっていません。それらの空の作品台に特殊な懐中電灯を当てると、作品の影が浮かび上がる……という作品。鑑賞者が自ら懐中電灯の光を当て、彫像の形を探り発見する、という鑑賞方法です。坪倉さんは「​​自分の行動が伴う現象は説得力を上げる。自身が能動的になることで、脳が錯覚し、更なる没入感を作ることができる」と話してくれました。

参考：不可視彫像／Invisible Sculpture

バーチャルアイドルの下着が見える！？夢のメガネ「Delta Glass」

また、本イベントでは「Delta Glass」を展示していただきました。「Delta Glass」は、バーチャルアイドルの下着を見ることができるウェアラブルデバイス作品。3D液晶シャッターテクノロジーを応用したメガネ型デバイスと、同期した特殊な周期で発光する装置によって、メガネを装着するとパンツを視認することができます。会場でメガネをかけ体験した人々からは、「すごい！」と楽しそうな声が上がっていました。

人間の感覚の拡張を試みる研究者 鳴海拓志さん

VRや拡張現実感の技術と認知科学・心理学の知見を融合し「人間の感覚の拡張」を試みる研究者である鳴海拓志さん。とくに五感インタフェースに着目したバーチャルリアリティを専門とされており、その研究分野は多岐に渡ります。大学で教鞭をとられている鳴海さんの語り口は、さながら授業のよう。

キーワードのひとつである「クロスモーダル知覚」（交わり、影響を与え合っているそれぞれの知覚を組み合わせることで錯覚を起こす現象）にまつわる研究事例をご紹介いただきました。「拡張満腹感」は、食事をする際に、特殊なメガネによって実際とサイズが違う食べ物を見せながら食べるとどうなるか、という研究例です。食べ物のサイズが大きいとより多く食べていると感じ早く満腹感を得られ、逆に小さくすると食べている量も少なく感じるそうです。ダイエットや摂食などへの応用ができるといいます。

そしてもうひとつのキーワード「視触覚間相互作用(Pseudo-Haptics)」。例えば、マウスのポインターを遅くすると、操作する手に力を感じてしまう……という、視覚と触覚にまつわる現象です。この効果を利用した研究事例である「Unlimited Corridor」。VR技術によって作られた、無限にまっすぐ歩き続けられる空間です。実際には、円型の直径6メートルほどの湾曲した壁ですが、体験者にはVRゴーグル上でまっすぐな壁が見えているので、延々まっすぐに歩き続けられるように感じられます。

参考：Unlimited Corridor

指で雪を歩く感覚を再現した「Yubi-toko」

会場では、感覚間相互作用を利用した作品も展示していただきました。タッチパネル上で指を左右交互に、歩く足のように動かすと雪の上を歩いているように感じられる作品です。指の速度より遅く画面が進むので、抵抗感が生じ、画面上の雪の深さによって足が重くなっている……と感じてしまう作品。視覚とタブレットコンピュータを組み合わせることで、架空の雪の感触を味わえます。

嗅覚アートのリーディングアーティスト MAKI UEDAさん

味噌汁の香りや土の香り、そして人の体臭までをも抽出し、香水化する技術を独自に築く、嗅覚アートの世界的リーディングアーティストであるMAKI UEDAさん。元々は藤幡正樹教授（現東京藝術大学）の下で学んでいらっしゃいましたが、デジタルを扱って作品制作をしていたところから一転、嗅覚の領域に転向し、オランダのアートシーンで表現を磨かれました。現在は、石垣島で香りのアトリエPEPEを開きアーティスト活動を行っています。

アーティストとしての活動歴は非常に長く、作品事例の数も膨大です。その中から、特に知覚を惑わす作品事例をご紹介いただきました。同じニオイを辿っていくと、ゴールにたどり着く、という「嗅覚のための迷路」。香りを間違えると、違う道に進んでしまいます。何もない空間で、香りのみを手がかりにして進んでいく作品です。

参考：「シェアリング・バイブス｜共振する場、そして私」展 嗅覚のための迷路 vol.1

香りの調合を体験できるデモンストレーション

本イベントではUEDAさんにデモンストレーションを実施していただきました。上手と下手の舞台袖それぞれに設置したサーキュレーターを使い、香水を閉じ込めたシャボン玉を飛ばしました。シャボン玉が割れると香りを感じられます。使っている香りは2種類。ひとつはすっきりとした香り、もうひとつは濃厚なものです。この2種類の香りはいずれもローズの香りの主要成分だそうです。上手と下手からそれぞれの香りを飛ばし、ちょうど交わる中間地点に鑑賞者が立つと、完成されたローズの香りが感じられるデモンストレーションです。女性からは「いいにおい〜」という歓声が、反対に男性からは「違いが難しい…」という声もちらほらと上がっていました。

経験によって培った技術を使い、知覚を揺さぶる

後半には、3名によるトークセッションを50分間行い、それぞれが考える「感覚のハッキング」について、より深く掘り下げていきました。まずは、それぞれの作品事例をより掘り下げ、どのような技術を用いて「感覚のハッキング」を行っているか、お伺いしました。

経験則で培われたUEDAさんの「香りの技術」。嗅覚アートの分野ではアーティストと調香師が一緒に作業を行い作品を作り上げることが多いとのことですが、UEDAさんは調香もご自身で行うそうです。素材に触れながらトライアンドエラーによって築き上げられたUEDAさんの技術。今回、他のゲスト2名からUEDAさんへ技術についての質問が多く寄せられました。

坪倉さんからは「香りは主観によって感じ方がかわってしまう繊細なもの。会場に来る人々に感じてもらい、（作品意図が通じるように香りについて）理解してもらうのはどうするのか？」という質問が。

UEDA「この表現をしたいからこの香りを選ぶ、ということはせず、嗅ぐという行為に焦点を当てています。この考え方は、香道と同じ考え方。香道は、5-6種の香料しか使いませんが、1000種の組香（遊び方）があります。（香りの）中身にとらわれず、その香料についての『感じる方法』を引き出し、開発する、というスタンスです。そうすることで、個人の感じることができるニオイの閾値の差異や、香りに対しての主観は（鑑賞方法には）関係なくなってくる、と考えています。」

また、香りの解像度を上げるために香りの楽譜をつくる、というお話も。人々は慣れてしまうと、ニオイを感知できなくなってしまいます。そこで、何時何分に香料を出す、というようなタイムラインを作る。そうすることで常に鑑賞者の鼻が利くように調整ができます。香りの解像度を維持するためには、どうしても空間・時間軸が欠かせない、という技術を明かしてくれました。

より没入感を高めるためのストーリーテリングとは?

作品に対する没入感や感覚を騙す表現をする場合には、世界観やストーリーといった、人々をより違和感なく導くための演出が必要になってきます。ゲストの方々はどのように演出を行っているのでしょうか？様々な技術を取捨選択して作品を作り上げている坪倉さんの場合、その世界観とご自身のバックグラウンドの結びつきは、非常に強いものとなっているそうです。

坪倉「アイディアの元は、憧れたフィクションやファンタジーを現実に持ってくるにはどうするか？ということが多いです。二次元から三次元へ、自分自身を含め人間の夢や欲望をどう再現できるか？という部分を探っています。そこから実現できる技術を考えて、当てはめていきます。やっぱり魔法が使いたいので、それが達成できるような表現に落とし込んでいます。」

「（使用できるシステムやプログラミング言語など）たくさんある技術の中から、どう選んでいるのか？」という鳴海さんからの質問にも、「実現できるのであれば手段にはこだわらない」と坪倉さんは返答。デジタルでもそうでなくても、手法は制限しない坪倉さんだからこそ、幅広い表現を可能にし、様々な作品を生み出すことができるのでしょう。

技術と表現をどう結びつけるのか

また、​​研究者である鳴海さんからは「あくまで技術をいかにプレゼンテーションするか、そのために表現を用いる」という言葉も。

鳴海「何かを作った際、その技術を最大限良く見せるにはどうすればいいか？と考えて、コンテンツなどの全体像を作っていくんですね。例えば、『Unlimited Corridor』も（体験として）コンテンツの力がとても強い。この技術は、歩く速度を制限しなければいけない、など効果的に感じるための制約が数多かったのですが、その制約を演出によって自然にクリアできるようにゲームデザイナーの方と設定しました。コンテンツの力によって、技術の効果を最大限引き出してくれる。そういう面では、表現と技術が結びついていることが重要だと考えています。」

また、ときには体験型作品でも、体験者側にリテラシーを求められる場合もあります。そのためにワークショップという伝え方はとても有効だ、というお話もありました。

ゲストが描く「感覚のハッキング」を用いた未来とは

「感覚のハッキング」について、異なるアプローチを試みるゲスト3名のそれぞれ視座が伺えたトークセッション。結びに、ゲストの皆さんが描く感覚のハッキングを用いた未来についてお伺いしました。

坪倉「（自身の作品はバーチャル体験が多いが）本当の『存在感』を与えていきたいです。それが限りなくリアルに近くなれば、現実になっていくはず。本当に体験しなくても、同じ価値になるものができあがったり、リアルに体験しているのと同じ感覚が得られるようになるんじゃないか。そうすれば人生がより楽しくなるんじゃないか、みんなが見ている夢が叶っていくのではないかと考えています。」

鳴海「人と人のコミュニケーションの間にも感覚があります。（感覚をハッキングすることで）受け手の感覚や感じ方を変える。そうすることで、相手にやる気が出たり、関係性をポジティブな方へ変えることができる。そういったことをうまく利用することで、みんながみんなに優しくなれる未来が来るといいなと思っています。」

UEDA「見ること・聞く事については美術や音楽の時間があったのである程度の教育を受けています。ですが、嗅覚に関しては一切知らずに（教育を受けずに）育ってきているんですよね。今後、『嗅覚教育』についても広げていくべきではないか、と思い、ワークショップを大学や様々な場所で開いています。始めたばかりでまだ基礎教育の段階ですが、今後どうなっていくか楽しみであるし、今後も続けていこうと思っています。」

口伝、手紙、新聞、テレビ…言葉や文字、音、絵などあらゆる方法で人々は体験や気持ちを伝えてきました。テクノロジーが発達し、今は見たことそのものを体験として伝えることができます。例えば、VR映像のプラットフォームVrse（現Within）の創業者であるクリス・ミルクは「VR技術は人類が行き着く先のひとつの最後の媒介(LAST MEDIUM)だ」と述べています。その言葉通り、自分自身の気持ちを伝えるための手段は、「体験すること」そのものに近づいていくのでしょう。

今後さらに、より現実に近い体験が再現できるようになるでしょう。それは、知覚を揺るがし、感覚をハッキングされる機会が増える、ということではないでしょうか。技術によって自分の知覚が容易く操作される未来の日常では、より人々の生活がポジティブになっていれば良いな、と思います。