脳は視覚と聴覚を融合し、騒がしい環境でも会話を理解する

脳は視覚と聴覚を融合し、騒がしい環境でも会話を理解する

2025年1月14日

概要

研究者たちは、脳が視覚と聴覚の手がかりを組み合わせて、騒がしい環境での会話の理解力を向上させる仕組みを調査しています。この研究は、唇の動きなどの視覚情報が、脳が「F」と「S」などの似た音を区別する能力をどのように高めるかに焦点を当てています。

研究チームは、脳波をモニターするEEGキャップを使用して人工内耳を装着した個人を研究し、特に後年インプラントを受けた人の場合、聴覚情報と視覚情報がどのように統合されるかを理解する予定です。

この研究は、発達段階が視覚的な手がかりへの依存度にどのように影響するかを明らかにし、高度な支援技術につながる可能性を秘めています。このプロセスに関する洞察は、聴覚障害者や難聴者の音声認識戦略を改善する可能性もあります。

重要な事実

  • 多感覚統合:唇の動きなどの視覚的な手がかりは、騒がしい環境での聴覚処理を強化します。
  • 人工内耳の焦点:研究者は、インプラントのタイミングが視覚情報への脳の依存度にどのように影響するかを研究しています。
  • 技術の進歩:研究結果は、聴覚障害者のためのより優れた技術につながる可能性があります。

    出典:ロチェスター大学


騒がしく混雑した部屋の中で、人間の脳はどのようにして視覚的な音声の手がかりを利用して、不明瞭な音声を補強し、聞き手が話し手の言っていることをよりよく理解できるようにするのでしょうか?

ほとんどの人は、話者の唇の動きや身振りを観察することで、会話の理解におけるギャップを埋めることができることを直感的に知っていますが、科学者たちはそのプロセスが生理的にどのように機能するかをまだ知りません。

これは頭と脳の輪郭を示しています。

人工内耳を装着した人の脳波信号を測定すると、人工内耳が電気活動も発生し、脳波の読み取りがさらにわかりにくくなるため、プロセスはさらに複雑になります。クレジット: Neuroscience News


「視覚野は脳の後部にあり、聴覚野は側頭葉にあります」とロチェスター大学の生物医学工学および神経科学の准教授、エドマンド・ララー氏は言う。

「その情報が脳内でどのように融合されるかは、まだよくわかっていません。」

科学者たちは、非侵襲性の脳波測定(EEG)を用いてビープ音やクリック音、単純な音節などの基本的な音に人がどのように反応するかを研究し、この問題に少しずつ取り組んできた。

ラロール氏と彼の研究チームは、唇や歯に接する舌などの調音器官の特定の形状が、聞き手が「F」と「S」、あるいは「P」と「D」のどちらを言っているのかを判断するのにどのように役立つかを研究することで進歩を遂げました。騒がしい環境では、これらの発音は似通って聞こえることがあります。

現在、ラロール氏は研究をさらに進め、より自然で、継続的で、多感覚的な発話における問題を探求したいと考えています。

国立衛生研究所 (NIH) は、この研究を進めるために、今後 5 年間で推定 230 万ドルを彼に提供する予定である。このプロジェクトは、以前の NIH R01 助成金を基にしており、もともとは大学のデルモンテ神経科学研究所からのシード資金によって開始されたものである。

この現象を研究するために、ラロール氏のチームは、聴覚系が特に雑音の多い人々、つまり聴覚障害者や難聴者で人工内耳を使用している人々の脳波を監視する予定だ。

研究者らは人工内耳を装着した250人の参加者を募集し、脳の反応を測定する脳波キャップを装着しながら多感覚音声を見たり聞いたりするよう依頼する予定だ。

「重要な考え方は、1歳で人工内耳を埋め込んだ場合、聴覚入力を1年間失ったとしても、聴覚システムは健聴者とかなり似た方法で接続される可能性があるということです」とララー氏は言う。

「しかし、12歳など遅くインプラント手術を受けた人は、聴覚系の発達の重要な時期を逃してしまいます。

「そのため、私たちは、話者の顔から得られる視覚情報を、ある意味では違った形で、あるいはより多く使っているのではないかと仮説を立てています。なぜなら、情報を補うために、視覚情報にもっと頼る必要があるからです。」

ラロール氏は、共同主任研究者のマシュー・ダイ教授と共同で研究に取り組んでいる。ダイ教授は、ロチェスター工科大学の認知科学博士課程と国立聴覚障害者技術研究所感覚・知覚・認知生態学センターを指導しており、ロチェスター大学医療センターの非常勤講師も務めている。

ララー氏によると、最大の課題の一つは、頭皮を通して脳の電気活動を測定するEEGキャップが、さまざまなソースから来る混合信号を収集することだという。

人工内耳を装着した人の EEG 信号を測定する場合、インプラントも電気活動を発生させ、EEG の読み取りをさらに不明瞭にするため、プロセスはさらに複雑になります。

「エンジニアリング面ではかなりの努力が必要になりますが、ロチェスターには信号処理、エンジニアリング分析、計算モデリングを使用して、これらのデータを私たちが利用できるような別の方法で調査するのを手伝ってくれる優秀な学生がいます」とララー氏は言います。

最終的に、研究チームは、脳が視聴覚情報を処理する仕組みをより深く理解することで、聴覚障害者や難聴者を支援するより優れた技術が生まれることを期待している。

この感覚処理と聴覚神経科学研究ニュースについて

著者:ルーク・オーバーン
出典:ロチェスター大学
連絡先:ルーク・オーバーン – ロチェスター大学
画像:この画像は Neuroscience News より提供


リンク先はアメリカのNeuroscience Newsというサイトの記事になります。(原文:英語)


 

Back to blog

Leave a comment