顔が見えると、英語の発話練習はより正確に
―行動データと脳活動が示す話者の顔情報の効果―

発表のポイント

• 英語学習で広く用いられる「シャドーイング（聞こえた英語をほぼ同時に繰り返す発話練習）」において、話し手の顔が見えると発話の正確さが有意に向上することを確認しました。
• 機能的磁気共鳴画像法（fMRI）^(注１) を用いた脳活動計測により、顔が見える条件では、音声と視覚の統合、記憶形成、動機づけに関わる脳領域の活動が高まることが明らかになりました。
• 話者の顔情報が言語処理そのものに関与する可能性を示し、AI時代においても「人の存在を感じられる学習環境」が持つ意義を示唆します。

概要

英語学習において、聞こえた音声をほぼ同時に繰り返す「シャドーイング」は、聞く力と話す力を結びつける練習法として広く用いられています。しかし、従来の研究や教材の多くは音声のみを対象としており、話し手の顔情報が学習に与える影響は十分に検証されていませんでした。
東北大学大学院国際文化研究科で言語脳科学を専門とする鄭嫣婷教授と、第二言語シャドーイング研究を長年牽引してきた関西学院大学の門田修平教授（研究実施当時。現：同大学名誉教授）らによる共同研究チームは、機能的磁気共鳴画像法（fMRI） を用いて脳活動を同時に計測し、顔情報が発話を伴う言語処理にどのように関与するのかを検証しました。その結果、顔が見えない条件と比較して、顔が見える条件では、音声と視覚の統合、記憶形成、動機づけに関わる脳領域 (左後部中側頭回、左海馬、右腹側淡蒼球など）において有意に強い活動が認められました。本研究は、話し手の顔を含む「人の存在」が言語処理に関与する可能性を示し、映像教材やオンライン学習の設計に新たな視点を提供します。
本研究成果は、2026年3月12日に、言語学および第二言語習得研究分野の国際学術誌 Language Learningに掲載されました。

研究の背景

言語は本来、音声だけでなく、話し手の口の動きや表情などの視覚情報を伴う社会的な営みです。しかし第二言語シャドーイング研究では、音声単独条件での実験が中心であり、顔情報の効果は十分に検討されてきませんでした。教育現場でも、音声教材や音声中心の練習が広く行われていますが、実際のコミュニケーション環境を反映した学習条件がどのような効果を持つのかは明らかではありませんでした。

今回の取り組み

本研究には、日本語を母語とする中上級レベル（TOEFL ITP平均564点、CEFR B2レベル相当）の日本人大学生42名が参加しました。参加者は、英語パッセージを読み上げる話者の動画を視聴しながら課題を行いました。動画は、顔が見える条件と、同一音声で顔部分をモザイク処理した条件の2種類を用いました。課題は、聞いた英語をすぐに繰り返す「シャドーイング課題」と、聞くだけの「聴解課題」です。
研究グループは、課題遂行中の脳活動を、東北大学加齢医学研究所3T MRIセンターの3テスラMRI装置を用いた機能的磁気共鳴画像法（fMRI）により測定しました。これにより、顔情報がシャドーイング中の脳活動にどのように影響するかに焦点を当てて分析を行いました。
その結果、シャドーイング課題では、顔が見える条件では意味の核となる内容語において平均91％の再現精度を示し、顔を隠した条件（平均88％）と比較して有意に高い再現精度が確認されました（図1）。また、顔が見える条件でのシャドーイングでは、音声と視覚情報の統合（左後部中側頭回）や記憶形成（左海馬）、動機づけ(右腹側淡蒼球）に関わる脳領域において、統計的に有意な差が確認されました（図2）。これは、顔情報が単なる補助的な視覚情報ではなく、言語処理そのものを支える神経基盤に影響を与えている可能性を示します。
さらに、スピーキング能力が高い学習者ほど多感覚情報（音声と顔情報）の統合に関わる「右後部上側頭回」の活動が高まり、リスニング能力が高い学習者ほど処理の自動化に伴い「右小脳」の活動が低下するなど、学習者の熟達度によって脳活動のパターンが異なることも明らかになりました(図3)。これは、英語の習熟度が高い学習者ほど、話者の顔情報を単なる視覚的な手がかりとしてではなく、発話のための統合情報としてより効果的かつ効率的に活用していることを示しています。

今後の展開

本研究は、顔情報が言語処理に関与する可能性を示し、映像教材やオンライン学習の設計に新たな視点を提供するものです。AI音声教材が普及する中でも、人の存在を感じられる学習環境が持つ価値を示す成果といえます。今後、研究グループは、双方向的コミュニケーション環境や長期的な学習効果についても検証を進め、教育実践への応用を目指します。

用語解説

注1. fMRI（機能的磁気共鳴画像法）： 脳の活動に伴う血流の変化を測定し、どの脳領域が働いているかを可視化する脳画像計測法。特に課題を行っている最中の脳活動を測定することで、特定の認知処理に関わる脳領域を調べることができる。

謝辞

本研究は日本学術振興会(JSPS) 科学研究費補助金 (19H01292, 23K21946, 23K25348) の支援を受けて実施されました。掲載論文は「東北大学2025年度オープンアクセス推進のためのAPC支援事業」の支援を受けてOpen Accessとなっています。

論文情報

タイトル：Seeing the Speaker’s Face Enhances Second Language Shadowing: Neural and Behavioral Evidence
著者：鄭 嫣婷*（東北大学）、門田 修平（関西学院大学）、梶浦 眞由美（名古屋市立大学）、中西 弘（西南学院大学）、風井 浩志（関西学院大学）、川崎 眞理子（長岡崇徳大学）、中野 陽子（関西学院大学）、長谷 尚弥（関西学院大学）
*責任著者 : 
東北大学大学院国際文化研究科　応用言語研究講座　教授　鄭 嫣婷
掲載誌：Language Learning 
DOI: https://doi.org/10.1111/lang.70026