脳はどのようにして視覚と聴覚を融合させて感情を読み取るのか

聴覚神経科学注目の神経科学視覚神経科学・2026年10月19日

まとめ：

神経科学者たちは、人間の脳が顔の表情と声のトーンをどのように統合して感情を解読するのかを解明した。視覚信号と聴覚信号をそれぞれ独立した感覚領域に分離するのではなく、顔と声に特化した脳領域が感覚を超えて重複する感情情報を伝達し、一部の皮質領域は、見たり聞いたりした感情を同じように表現する。

主な事実：

• 異感覚処理：顔選択性皮質領域は声のトーンを通して伝えられる感情に関する神経情報を伝達し、一方、音声選択性聴覚領域は顔の表情に表れる感情を解読する。
  
• 抽象的感覚不変表現：特定の脳領域は、感情的な入力が視覚を通して入ってくるか聴覚を通して入ってくるかに関わらず、同じ根底にある感情を同様の神経形式で表現する。
  
• マルチモーダルな再構築：感情的な顔と声を同時に提示すると、どちらか一方の感覚刺激を単独で提示した場合と比較して、神経活動が動的に再編成され、最適化される。
  
  出典：神経科学学会

効果的な人間関係を築くには、微妙な社会的・感情的なサインを常に読み取る能力が不可欠です。日々のやり取りを円滑に進めるには、相手の表情と声を総合的に判断し、眉を上げた表情と皮肉な口調を結びつけたり、目を見開いた表情と恐怖の息を呑む様子を照らし合わせたりすることで、相手の感情状態を把握する必要があります。

しかし、脳がこれらの異質な感覚情報の流れをどのように統合して、感情という単一のまとまりのある印象を作り出すのかは、認知神経科学において長らく未解決の問題として残されてきた。

『ジャーナル・オブ・ニューロサイエンス（JNeurosci ） 』に掲載された研究で、国際的な研究チームは、さまざまな感情状態を表す顔や声に対する脳の反応をマッピングし、社会的脳ネットワークにおける感覚処理は、従来のモデルが想定していたよりもはるかに相互接続性が高く、感覚的に不変であることを明らかにした。

感覚の境界を打ち破る

この研究は、ルーヴァン・カトリック大学（UCLouvain）のオリヴィエ・コリニョン博士と、現在ゲント大学に所属するステファニア・マティオーニ博士が主導した。研究チームは、機能的磁気共鳴画像法（fMRI）を用いて、被験者が感情的な表情、感情的な発声、あるいはその両方を同時に知覚する際の神経活動を記録した。

参加者が顔の表情と発声を別々に評価したところ、感情的な内容が特殊な感覚皮質全体に広範な活性化を引き起こした。驚くべきことに、これらの神経活動は従来の感覚領域に限定されなかった。

「重要なのは、これらの領域が得意とする感覚だけに限定されていなかったことです。顔に選択的に反応する領域のいくつかは、声から聞き取った感情に関する情報も保持しており、声に選択的に反応する領域は、顔から見た感情に関する情報も保持していました」とマティオーニ氏は説明する。「一部の領域では、脳は、見た感情であれ聞いた感情であれ、同じ感情を同様に表現していました。」

これは、高次感覚皮質が情動状態の抽象的で概念的な表現を維持していることを示している。つまり、「恐怖」や「喜び」を、純粋な音響周波数や視覚的な幾何学的形状としてではなく、感情的な概念として符号化しているのである。

マルチモーダル統合が神経符号化を再構築する

参加者が顔と声を同時に観察したとき、脳は単に視覚信号を聴覚信号に加えたわけではなかった。むしろ、複数の感覚情報を同時に提示することで、社会的および感情的処理ネットワーク全体にわたる神経応答が根本的に再編成されたのである。

この動的な再構築は、脳が現実世界における曖昧な表現をどのように解決するのかを説明する。視覚情報と聴覚情報が一致すると、マルチモーダルネットワークが入力データを迅速に相互参照し、感情認識を加速させ、社会的判断を洗練させる。

研究者らは、このクロスモーダルなアーキテクチャは進化上の利点をもたらし、距離、照明の悪さ、背景雑音などによっていずれかの感覚入力が損なわれた場合でも、意図、脅威、親近感を評価するための迅速かつ冗長なチャネルを提供すると指摘している。

社会的および神経発達上の問題への影響

視覚と聴覚の感情コードを融合させる神経回路を理解することで、社会的処理の違いを研究するための客観的な枠組みが確立される。

自閉スペクトラム症（ASD）や社会的コミュニケーション障害などの神経発達障害を持つ人は、複雑な多感覚的な社会的環境を理解することが困難な場合が多い。

感覚間の感情統合が起こる特定の皮質ノードを特定し、その統合プロセスがどこで滞る可能性があるかを明らかにすることで、今回の研究結果は、社会的合図の統合を改善するために設計された将来の診断ツールや行動介入の指針となる可能性がある。

原文掲載元はこちら

 https://neurosciencenews.com/sight-sound-emotional-processing-31319/