映像と音声のズレに、知覚系が順応する仕組みを解明～視聴覚刺激の時間差に対する「時間的再較正」で、テレコミュニケーション技術の進化に貢献〜

国立大学法人千葉大学

2025年5月20日 15時33分

千葉大学大学院人文科学研究院の一川誠教授と同大大学院融合理工学府博士後期課程３年のワン・ヤル氏は、視覚刺激と聴覚刺激の開始時の間、またはそれらの終了時のあいだに時間差を設けた条件でのみ、視聴覚刺激間の時間差を小さく感じる順応的変化（時間的再較正（注１））が生じることを明らかにしました。この結果は、人間の知覚認知系が、開始や終了のような刺激の時系列的部位ごとに時間情報を符号化し、その時間差に順応するよう情報の処理を行なっていることを意味しています。

　本研究は今後、遠距離からの映像音声通信（テレコミュニケーション）で生じる映像と音声のズレを自動的に調整し、快適に視聴できるような技術の開発に役立つことが期待されます。

本研究成果は、2025年5月1日に学術誌Vision Researchで公開されました。

■研究の背景
　私たちは普段、目で見た情報と耳で聞いた情報をうまく組み合わせて物事を感じ取っています。たとえば、花火を見た時、光と音がぴったり合っていなくても、自然と一つの出来事として受け取っています。同様に、テレビなどの動画像の通信では、音声と映像の間に数百ミリ秒（ms）程度の時間差が生じることがあります。このような視聴覚間の時間差に対して、これまでの研究では短い視聴覚刺激を用いた実験により、視聴覚刺激の開始時に一定の時間差がある状態を数分間繰り返し提示することで、知覚系の順応的変化が起こり、時間差が主観的に縮められる「時間的再較正」が生じることが示されてきました（参考文献1,2)。しかし、開始時と終了時が区別できる100ms以上の比較的長い視聴覚刺激について、その開始時と終了時のそれぞれに時間差を設けた場合でも、時間的再較正が生じるのかまったく検討されてきませんでした。

そこで、本研究では、刺激の開始時（オンセット：図１上部）と終了時（オフセット：図１下部）のいずれかに、知覚的に区別しやすい100ms以上の長さの視聴覚刺激を用い、数分間の繰り返し試聴によって視聴覚刺激のタイミングに関する知覚がどのように変動するのかを検討しました。

　具体的には、視聴覚刺激の開始時と終了時どちらに時間差を設けるかでブロック分けを行いました。各ブロックの実験は順応段階とテスト段階の２段階で構成されました。順応段階では、視覚刺激と聴覚刺激の開始時、もしくは終了時のどちらかについて、240msの時間差を設けて約5分間の間に120回繰り返し提示しました。テスト段階では、視聴覚刺激の開始時もしくは終了時に±0、300msの時間差が設けられ、それぞれ１0回ランダムな順序で提示されました。参加者はブロックごとに刺激の開始時もしくは終了時に注意を向け、視聴覚刺激のどちらが先に感じられたか報告しました。

■研究の成果
　実験の結果、順応段階とテスト段階で同じように開始時（もしくは終了時）に時間差を設けた場合、聴覚刺激が視覚刺激に先行した条件でのみ時間的再較正が生じることが明らかとなりました（図２）。雷の光が先に見え、その後に音が聞こえることからも分かるように、大気中では光の方が音よりも速く伝わります。しかし、知覚の処理に関しては、逆に、光の処理は音の処理よりも時間がかかるため、光と音が同時に提示された場合、音の方が先に発生したと知覚されやすいことが知られています。このことから、本研究において、聴覚刺激が視覚刺激に先行した条件では特に視聴覚刺激間の時間差が主観的にわかりやすかったと考えられます。

一方で、順応段階では刺激の開始時に時間差を設け、テスト段階で刺激の終了時に時間差を設けた条件や、逆に、順応段階では刺激の終了時に時間差を設け、テスト段階では刺激の開始時に時間差を設けた条件では、時間的再較正が生じることはありませんでした（図３）。

　これらの結果は、刺激の開始時と終了時それぞれの間の時間差に対する主観的な対応づけが、視聴覚間の時間的再較正の成立に必要であることを示唆しています。

図２順応段階とテスト段階とで開始時（Ａ）もしくは終了時（B）に時間差を設けた条件の結果 (視覚刺激と聴覚刺激が同時に感じられるために必要な質問紙間の時間差を示す。正の値は聴覚刺激が視覚刺激に先行する程度を示す。)

図３順応段階で開始時、テスト段階で終了時に時間差を設けた条件（A）と順応段階で終了時、テスト段階で開始時に時間差を設けた条件（B）の結果

■今後の展望

　本研究成果により、複雑な時間的構造の視聴覚刺激であっても、注意を向けた刺激の時系列的部位（開始や終了）における時間差が一定であれば、知覚される時間差を縮めるような時間的再較正が成立することが確認されました。今後、視聴覚間の時間的再較正成立の必要条件が特定できれば、携帯電話等を用いたテレコミュニケーションの場などで生じる、視聴覚間で時間差のある映像メディアの快適な視聴方法を確立できることが期待されます。

■用語解説

注1）時間的再較正：視覚や聴覚などの知覚様相間で刺激のタイミングに一定の時間差が数分間程度にわたって持続した場合、その時間差を補償して（0に近づけて）知覚的に同時に感じやすくなる順応的変化のこと。

■研究プロジェクトについて

本研究は、科学研究費助成事業基盤研究(B)「時空間的要約抽出に基づいた適応的知覚処理方略の解明（20H01781）」の支援によって行われました。

■論文情報

論文タイトル：Effect of stimulus onset and offset asynchrony on audiovisual temporal recalibration　　　　　

掲載誌：Vision Research

著者：Yaru Wang, Makoto Ichikawa

DOI：10.1016/j.visres.2025.108595

■参考文献1

論文タイトル：Recalibration of audiovisual simultaneity

雑誌名：Nature Neuroscience