【対談】NAOTO × 柏野牧夫（認知脳科学者）
2022.12.16
Illusion feat.ペチュニアロックス × 錯聴
文：加藤 一陽
参考：Illusion Forum
自分が見えているもの、聞こえているもの
人はそれを疑わない
ー“イリュージョン”は“錯覚”や”幻”などを意味する言葉ですが、柏野先生は“錯聴”……つまり“目の錯覚”ならぬ“耳の錯覚”についての研究を、認知脳科学の見地から取り組んでいらっしゃいます。柏野先生には、「Illusion」の音源を元に、錯聴をわかりやすく体験できるようなトラックを作っていただきました。今回はNAOTOさんと一緒にその音源を聴きながら、イリュージョンのことを知り、さらには「Illusion feat. ペチュニアロックス」が持つメッセージやコンセプトの理解を深めていきたいと考えています。その前に、先生が研究されているイリュージョンについて、簡単にご説明いただけますか。
柏野：イリュージョンって、一般的には特別なことのように思われていますよね。目の錯覚などは、“たまたま見間違えただけ”と捉えられるところもあると思います。でも我々のように研究している人間からすると、イリュージョンじゃない視覚や聴覚はないんですよ。これについての詳細は我々の作っているWebサイトを見れば実感していただけると思いますが、どういうことか説明すると、物理的に存在しているものが、人間にそのまま認識されることはほぼないということです。光にしても音にしても、人の脳がなんらかの形で脚色をしているんですね。例えるとすれば、ニュース番組って、ある事件があったときに、それを番組側で編集したうえで報じますよね。それと似たことが、何かを見た瞬間、聴いた瞬間に人の脳内で起こるわけです。そうである以上、人はイリュージョンからは逃れられないんですね。
ーその話を聞くと、正確なもの、あるいは正解ってなんだろうという気になります。
柏野：ただ、脳がそういう作りになっているのにも理由があります。映像や音の物理的な特性をありのままに認識するようなロボットを作ると、うまく動かないんですよ。例えば、なにか音を聴こうとしたときに、近くで誰かが咳をしたり、ドアをバタンと閉めたりすることってあるじゃないですか。自然には雑音があるわけです。ロボットだと、そういう雑音が鳴った場合に聞き取りができなくなるケースがあるんです。つまり、聞き取りたい部分が雑音によって聞こえづらくなったときに、前後の音やいろいろな知識から適切に補うようにしなきゃいけないんですよ。でも、脳はそれができる。しかも補ったことすら自分で気づかないように補うのが脳の“匠”なところなんですよね。
ーでは続いてNAOTOさんに、ひさびさのアルバムである『Double Circle』について伺います。フルアルバムとしては約4年ぶりですね。
> [ DISC1 ] Double Circle
> [ DISC2 ] Double Circle
NAOTO：そうですね。特にここ2年はコロナ禍で、前半の1年は本当に沖縄から一歩も出ない日々が続いていました。ただORANGE RANGEの制作は僕の自宅で90%完結するような形でやっているし、ライブなどで他県に出ることがないぶん、曲作りやアルバムの制作はかなり集中して行なうことができたと思います。そういう意味では良い機会でしたね。1曲にたくさん時間をかけることができたし、トライ&エラーもいろいろできました。だからキャラクターを良い形で出せたし……面白い作品になったと思います。あと、単純に曲がたくさんできた。アルバムには14曲収録されていますが、曲はそれ以上にできていて、厳選しながら制作したんです。
ーそうやって作られたアルバムの中でも、ここで取り上げる「Illusion」は独特の存在感を持つ楽曲ですね。シンセで作られたシンプルなトラックに、メッセージ性の強いラップが乗るナンバーです。
> [ 音源 ] Illusion feat.ペチュニアロックス
NAOTO：「Illusion」は、「曲を作るぞ」というよりも、「“シンセを使い倒した何か”を作りたい」「シンセという楽器をもっと使いこなしていこう」という気持ちがきっかけでできた曲でした。だから、もともとは曲にするつもりもなくて。コロナ禍の時間がある中で、そういうシンセのフレーズをたくさん作っていたんですけど、その中でもこの曲は、ラップを乗せたら「意外といけるね」ってなって。それで楽曲として仕上げる方向に直していったんです。コンセプトとしては、1つひとつの音の立ち位置とか、ほかの音との関係性とか、空間とか、そういった音のディティールをどうにか聴かせたい、というか。生のサウンドは声しかないんですけど、シンセサイザーをその前後に配置したりして、どうにか立体的にできあがった楽曲です。
ー使われている言葉は強く辛辣なところもあり、現代社会や世界の状況に対する憤りが表現されているように感じます。
NAOTO：リリックの内容がシリアスになってしまったのは、これもまたコロナ禍の話なんですけど、Netflixなどでサスペンス映画とかスパイ映画とかをよく観ていたんです。具体的には「インセプション」とか「TENET」とか。そういう作品にハマっていたので、題材的なものはそういう映画から（笑）。あとは、ボーカルの3人もこの曲に対してそれぞれ思いが強いというか、やりたいことがはっきりしていたみたいでしたね。
––柏野先生は「Illusion」をどうお聴きになりましたか？
柏野：曲もリリックも個人的に好きな感じで、気に入りました。正直、ORANGE RANGEに対しては“ものすごくポップ”というイメージがありましたが、この1曲だけで印象が変わったところがあります。曲は音数が少なくてシンプルなんですけど、それゆえにけっこう“イリュージョンの塊”になっています。いろいろな聴き方ができるんですよね。リリックはすごくタイムリーで、今の社会の状況をえぐっているっているなと思いました。“世界の分断”とか、“価値観”とかっていう話がよく挙がりますけど、一般的に、自分が見えているものや聞こえているものって、絶対化されがちなわけです。みんなそれを疑わない。それはなぜかと言えば、認識しているプロセスを、自分で意識できないからなんですよね。「こう聞こえてる」「ああ見えてる」という感じで、その前の段階がどうだったかは考えない。でも実際は、聞こえたり見えたりするまでには脳内でいろんなことが起きているし、脳は経験によって劇的に変わるので、脳での処理自体が人それぞれかもしれませんよね。
––同じものでも、みんな違うように見たり聞いたりしている可能性があるということですよね。
柏野：この曲にそういった感覚がどこまで込められているかわからないですけど、その意味でもすごく合っているような気がしましたね。
「バナナ」という言葉を繰り返しループで聞くと
「ペンダント」と聞こえてくる人もいる
––では、ここからは先生が用意してくださった音源を聴きながら、より具体的に錯聴効果について触れていきます。まずは曲中から「お前だ」と歌っているフレーズを切り出して、ループさせた音源です。物理的に言えば、「お前だお前だお前だ……」となっています。
柏野：効果は人それぞれかもしれませんが、このループをずっと聴いているうちに「お前だ」という言葉ではない言葉や音が聞こえてくると思います。私たちの行なった実験で、「バナナ」という言葉をループさせて聴き続けるというものがあります。3～5分ほど聴き続けていると、「ペンダント」と聞こえてくる人がいたり、あるいは「入んないよ」と聞こえてきた人もいたんですよ。
NAOTO：へえ。
柏野：「傘」という言葉をループさせると、「坂」と聞こえることはあるし、それは当たり前ですよね。でも実際は、「カ」でも「サ」でもない、まったく違った言葉が聞こえるケースがある。言葉ではない、金属音のような音やパーカッションのような音が聞こえる人もいます。それは人によって違いが出る脳の錯覚なんですけど、私たちはそういうときに脳がどういう働きをしているかを調べているんです（※参照１）。その変化の度合いも、それぞれの人が持つ遺伝子のタイプで変わってきたりして、多様性のようなものが見出せる。音自体の細工は単純ですけどね。
––“ループ”と言えば、ダンスミュージックでは、何小節かをループさせながら音を足したり展開を作ったりしてトラックを構築していくことが一般的ですよね。そうやってループで曲を作っていると、「良いループができた」と思っても、翌日聞き直してみたら良いと思えなかったりすることがよくあります。
NAOTO：僕の場合は、作業を休んでご飯を食べたあとに聴き直すと、まったく違うものに聞こえることはありますね。
柏野：ロボットと違って、人の状態って同じであることはないんですよ。自律神経系や、脳内の神経活動の状態は1日の中でも変動していますから。
NAOTO：ヒップホップでよく行なわれるサンプリングってあるじゃないですか。レコードなどからフレーズを抜いて、それをループさせて曲を作っていくっていう手法。僕もサンプリングで曲を作るのを好むんですが、自分の美学として、本来歌われている言葉が聞こえなくなるところを使って、新しい言葉を生み出そうというのは普段から意識してやっています。
柏野：サンプリングの話、面白いですね。元々の音源とサンプリングしたフレーズって物理的には同じ音源のはずなんですけど、人間側の受け取り方が同じではない。同じフレーズでも、別のコンテキスト上に持ってきた時点で全然違うものなんですよね。そのフレーズの前後にあるものが変われば、最終的にどう受容されるかも変わってくる。だからNAOTOさんの言う「新しいものに聞こえるように」というのは、クリエイティブな行為だなって思うんです。
NAOTO：関連するかどうかはわからないんですけど、誰かに聞いた話で、飲み会でお酒の弱い人に「水割りだ」と嘘をついて、ずっと水を飲ませていたそうなんです。でも、その人は酔っ払ってしまったって。
––「パブロフの犬」のようなことなんですかね。
柏野：「パブロフの犬」よりはだいぶ複雑な現象……難しい言葉で言えば、“予測制御”の話になると思います。うちの研究員で自転車ロードレースの元日本チャンピオンがいるんですけど、彼は「レース中、すごく疲れているときにバナナを食べると、その瞬間にガッと元気が出る」と言うわけです。でも考えてみれば、バナナが消化され、吸収され、エネルギーとして使えるようになるまでには時間がかかりますよね。だからそれは、「食べたら元気になるであろう」ということを脳が予測して、先回りして体が反応しているということなんですよね。
NAOTO：プラシーボなんかもそれに近いのかもしれませんね。
柏野：そうですね。プラシーボは、薬理学の人は「それは薬ではないです」と言うだろうし、もちろん薬だと言って売るわけにはいきません。でも中には、“気のせい”を超えて、実際に体の状態が変わる人もいる。それってイリュージョンと言えばイリュージョンだし、プラシーボと言ったらプラシーボなのかもしれないけれど、「リアルではない？」と聞かれたら、「いや、それもリアルですよね」という話になるわけです。実際に体が反応しているわけですし、その背後にある脳内の神経活動も、真の薬によって生じるものと似た部分があってもおかしくありませんから。
ポピュラリティのある人が持つ
“あるもの”の絶妙なさじ加減
––ほかの音源についても解説していただきましょう。ぶつ切りになっているフレーズに、だんだんノイズがフェードインしてくる音源があります。。
柏野：ここでずっと流れているのは「Illusion」の中のフレーズを150ミリ秒ごとにぶつ切りにしたものです。
最初の方は途切れ途切れに聞こえますよね。だんだん断続的なノイズがフェードインしてきます。
「Illusion」のぶつ切り音源とノイズをフェーダーで調整すると、曲が次第に滑らかに聞こえてきませんか？ ノイズがフェードアウトしていくと、また途切れ途切れに聞こえます。最初から最後まで、ノイズが鳴っている部分には、曲はありません。物理的に言えば、曲の断片、ノイズ、曲の断片、ノイズというように交互に鳴っているのです。でも、ノイズがある程度以上大きくなれば、曲が滑らかに聞こえるようになってきて、言葉や楽器の音も聞き取りやすくなる。つまり「ノイズで隠された部分は、脳が補って聞いている」ってことですね。
図版：連続聴効果の図
NAOTO：あー、なるほど。
柏野：例えば、「日本で一番高い山は富士山です」と言う場合、「富士山です」のところが聞こえなくてもわかるじゃないですか。そういうイメージです。ある程度予測しやすい言葉のほうが効果が高いですね。聴覚だけでなく、視覚に関しても、“隠されると見える”という現象があるんですよ。例えば、図Xの左のパターンを見てください。無意味な図形に見えますよね？ では右だとどうでしょう。即座に“ABCD”とわかります。でもよく見ると、右も左も文字の断片はまったく同じです。違いは文字の切れ目が隠されているかどうかしかない。こういうパターンを見ると、脳は“ABCD”じゃないかという予測をするのですが、右だとその予測と矛盾しない。でも左だと明らかに切れ目がありますから、予測と矛盾する。一瞬で見えているように感じますが、脳はかなり複雑なことをやっているんです。
NAOTO：なるほど。今の話を聞いて思い出したのが、例えばギターのリフなんかで、1小節のフレーズが16小節続くような場合、最初の2小節くらい鳴らしたあとに音量を下げても、聴感上はあまり音量が変わっている感じがしないっていう話がありました。
––ここまで話を伺ってきて、同じものを見たり聴いたりしていても、人によって全然違ったものに捉えられていると考えるほうが自然なことなんだなと感じました。そうであるにもかかわらず、世の中には、ORANGE RANGEの曲のように多くの人に支持されるコンテンツが存在するのも事実です。みんな同じように聴いているわけではないのに、大衆性を帯びていくというのはどういうことなんでしょうね。
NAOTO：それで言うと、僕らの場合、ある程度までパブリックイメージは演出しているんですけど、結局、捉えられ方は受け手の主観によるところだと思うので、“余白”を残すようにしていて。メンバーのキャラクターに関してもそうだし、曲に関してもそうだし。例えばミニマルテクノって、情報が少ないぶん、聴き手の感性に委ねられているところが多い音楽だと思うんですね。僕らの場合もそうで、ある段階までは自分たちでキャラクターを提示するんですけど、あとは受け取り手側が理想の形に持っていけるように余白を持たせているというか。
柏野：やっぱり意識的なんですね。
NAOTO：そうですね。結局は主観なんで。主観ってたぶん、その人がどういう音楽を聴いてきたかとか、どういう勉強をしてきたかとか、そういうことで形成されていると思うんです。それに、僕らは聞き手の世代も広いですから。その意味でも、捉え方を委ねられるようにしているんですよね。
柏野：まさに、ORANGE RANGEの大衆性の理由はそこだなと思いました。俳句なんか典型的じゃないですか。例えば1,000文字でエピソードを書いたとして、それがピッタリと誰かにハマることはあまりない。でも俳句は17文字で、言えていないディティールもいっぱいあるのに、だからこそ多くの人にハマる。多くの人にハマるかどうかというのは、受け手がどれだけ勝手に補えるところがあるか……裏を返せば、コアをどれだけ提示することができるか。先ほどの“ABCD”の例でも、“ABCD”だと認識できるためのパーツを十分に提示していないと、“ABCD”だと認識できません。だけど、そのクリティカルなパーツの部分はうまく残しつつ、補えるところはあえて言わないという。ポピュラリティのある人というのは、そのさじ加減が絶妙なんじゃないか。そしてそれをNAOTOさんは、天性のものというよりは、ある程度計算してやっているのがすごい。
NAOTO：歌詞なんかでも、自分たちの経験を書くことはほとんどないんです。しかもよく読めば、核心を突くようなことも何も言っていないんですよ。思わせぶりな感じっていうのかな。
柏野：まさに、そういうところが良いと思うんですよね。我々の学術論文なんかは誤解があったら困るので、「こうしか読めない」という文章は大事ですけど、アートはそうではないですから。
NAOTO：「結局何が言いたいんだろう」みたいなものがけっこう多いんですけど（笑）。
柏野：私はトップアスリートの方とお話しする機会があるのですが、特に一流の選手って、私たちと話が合うところがあるんです。と言うのも、人間というものについて、我々は実験室で実験しているけれど、彼らは人生を通して、ずっと実験を続けているんですよね。「こう投げたら打たれた」とか、そういうことを日々考えながら繰り返している。そうなると、同じような真理に到達してもおかしくないし、良い選手は人間の特性をよく見ているなと感じるんです。そして今日NAOTOさんと話していて、ミュージシャンの方もそうなんだなと再認識しました。人間の聴覚認知の特性と日々向き合って、いろんなことをやっているわけですからね。
NAOTO：今日お話を聞いていて、みんなもれなく脳を持っているにもかかわらず、そのことをここまで考えるタイミングがなかったなと思いました。楽曲における錯聴効果も、これまで意識してきた部分ではあるのですが、もっと具体的に理解したうえで制作できたらもっと効果的なんじゃないかな。音の配置の仕方とか、印象付けとかを意識しながら、より立体的な音を作ることができるんじゃないかなって。
柏野：まさに空間の捉え方って、視覚と聴覚の一番大きな違いかもしれません。視覚はまず網膜に投影されるわけですけど、網膜は2次元の平面なので、すでに空間的な広がりを持っているんですよね。だけど音は、使える情報が鼓膜の振動、つまり本質的には1次元でしかない。したがって、空間を捉えるには、その1次元情報から脳が計算しなければならない。両耳合わせて2つの振動から計算するだけなので、逆に言えば脳を騙せるし、バーチャルなものが作りやすいんです。そうやって本来人間が持っている特性を活かすのは理にかなっているし、仕組みがわかっていれば狙って作れるというのもありますよね。いずれにしても、“音の空間”という点では、イリュージョンの部分でやれることはいろいろあるだろうなと思います。いや、1時間半もお話ししてきましたけど、私としてはあっという間。今日は楽しかったです。
NAOTO：僕も楽しかったです。“生命の神秘”などとよく言われますけど、脳って本当にすごくて、単純に興味がグッと湧きましたね。今日はありがとうございました。
撮影：平野タカシ
参照1：
Kashino, M., Kondo, H.M.: Functional brain networks underlying perceptual switching: auditory streaming and verbal transformations. Philosophical Transactions of the Royal Society B: Biological Sciences 367 (1591): 977-987, 2012.
＜プロフィール＞
NAOTO（ORANGE RANGE）
沖縄出身の5人組ロックバンドORANGE RANGEのリーダー兼ギタリスト。
コンポーザー・プロデューサーとして海外アーティストのイアン・ブラウンへの楽曲提供や共演、Lee “Scratch” PerryやAkil from Jurassic 5、Horace Andyなどの様々なジャンルのアーティストとの客演、その他日本人アーティストのももいろクローバーZ、でんぱ組.inc、SCANDAL等のプロデュースや、さまざまなアーティストへ楽曲提供も行なっている。
現在、約4年ぶりにリリースしたORANGE RANGEの12枚目のオリジナルアルバム『Double Circle』を掲げた全国ツアー「ORANGE RANGE LIVE TOUR 022-023 〜Double Circle〜」を開催中。
http://orangerange.com/
柏野牧夫
日本電信電話株式会社 コミュニケーション科学基礎研究所所属
NTTフェロー、柏野多様脳特別研究室長
1964年岡山県生まれ。1989年東京大学大学院修士課程修了。2000年博士(心理学)。
1989年日本電信電話株式会社に入社，NTT コミュニケーション科学基礎研究所人間情報研究部長，上席特別研究員等を経て，2018年よりNTTフェロー、2019年より現職。
Wisconsin大学客員研究員，東京工業大学連携教授・特任教授，科学技術振興機構（JST） CREST研究代表者等を歴任。
現在，東京大学大学院教育学研究科客員教授，日本学術会議連携会員。専門は心理物理学・認知神経科学。感覚系（特に聴覚）や運動系を中心に，無自覚のうちに適応的な情報処理を実現する脳の働きの解明に従事。最近は、自閉スペクトラム症当事者やトップアスリートなどにも対象を広げ、認知の多様性や可塑性を研究している。2016年文部科学大臣表彰科学技術賞受賞。著書に『音のイリュージョン～知覚を生み出す脳の戦略～』（岩波書店, 2010）、『空耳の科学～だまされる耳、聞き分ける脳』（ヤマハミュージックメディア, 2012）、 他。
http://www.kecl.ntt.co.jp/people/kashino.makio/index-j.html
