脳科学技術と音声認識技術を用いた日本人向け英語リスニング・スピーキング学習支援サービス開発を開始

株式会社JSOL（本社：東京都中央区、代表取締役社長　前川 雅俊、以下JSOL）と株式会社NTTデータ経営研究所（本社：東京都千代田区、代表取締役社長　川島 祐治、以下NTTデータ経営研究所）は、株式会社EnglishCentral（東京都台東区、代表取締役社長　松村 弘典、以下イングリッシュセントラル）と共同で、脳科学技術と音声認識技術（注1）を用いた日本人向け英語リスニング・スピーキング学習支援サービス開発（以下、本研究開発）を開始しました。

本研究開発の具体的な開発方法としては、すでにグローバルで300万人以上のユーザーに利用されているオンライン英語スピーキング学習サービスと、実証検証を進めているニューロフィードバック技術（注2）を用いたリスニングトレーニングを組み合わせ、ビジネスパーソンなどを対象とした実証実験を行っていきます。

なお、本研究開発の一部は、「無自覚の音素の弁別に関する神経情報処理機能をトレーニングする」という国立研究開発法人情報通信研究機構（以下 情報通信研究機構）と大阪大学が研究開発している基礎技術（注2）に基づいております。さらに脳科学の社会実装を目指した大阪大学COIプログラム（注3）による支援を受けて、2019年度の実用化を目指し開発を進めます。

■共同研究開発の背景
国際社会におけるグローバル化の進展に伴い、日本でも小学校における英語必修化など、英語教育への関心がかつてないほど高まってきています。一方で英語力の国際比較調査によると、日本人がリスニングとスピーキングを苦手としていることは顕著であり、中でも「L」と「R」の違いのように、従来の日本語にはない周波数の音を聞き取る・発話することに苦労をしている傾向が見て取れます（注4）。リスニングができない音素や単語はスピーキングにおいても苦手とされ、学習者が自ら聞き取ることができない音と発生しにくい音の両方を特定して認知をさせることが英語力向上の鍵を握ることがわかります。

そこで本研究開発では、イングリッシュセントラルが保有する「音声認識技術」と、情報通信研究機構と大阪大学が研究開発した「ニューロフィードバック技術」を用いて、英語学習者が自ら気づくことができない発声しにくい音と聞き取りにくい音を視覚的にフィードバックすることで適切な方向へと学習を指導するトレーニング方法の開発を目指します。これにより、これまでは漠然と「聞き取れない」あるいは「伝わらない」という実感しかなかった英語力について、学習者自身が科学的に裏付けられた方法で改善点を認識して、自身の能力の改善を図ることができるようになります。

■構築する学習システムの概要
下記の2つの技術を用いることで、英語のリスニングと発音で苦手な音素を科学的・客観的に可視化し、それらを重点的にトレーニングするシステムを構築します。
● 音声認識技術を用いたスピーキングトレーニング（イングリッシュセントラル既存サービス）

学習者が英文を発音した際の音声情報から、発音できていない音素を可視化させ、その音素の発音を重点的にトレーニングします。

● ニューロフィードバック技術を用いたリスニングトレーニング
学習者は自身の脳波計測とその視覚的フィードバックを受け、以下のようなプロセスを踏むことで特定の音素の聞き分け能力を向上させることができます。

1.ある音素が異なる英単語対をランダムに一定間隔で聴き続ける（例えば、”light”と”right”）

2.その音刺激に対して「聞き分け度合」を反映する脳の反応（脳波）を脳波計測器で抽出する

3.抽出した脳情報を定量的に学習者にフィードバックする（例えば、緑の円の大きさとして可視化）

4.学習者は目の前のモニターに映る緑の円を大きくするように試みる

5.繰返し行うことで、学習者は特定の音素を弁別する脳の神経情報処理機構をチューニングすることができる（学習の成立）

※　詳細は（注5）2017年10月17日ニュースリリースに記載。
 

■各社役割
・JSOL
ユーザー向けアプリケーションの開発及び最適なユーザーインターフェースの検証、ニューロフィードバック技術の本テーマへの適用
・イングリッシュセントラル
学習者ビッグデータの分析、英語スピーキング学習サービスの提供及び本テーマへの適用
・ＮＴＴデータ経営研究所
脳科学技術の活用を中心とした全体のコーディネーション

■今後について
本研究開発の成果は、これまでにない「知覚的運動的な英語能力の基盤」を科学的に効率よくトレーニングする学習支援サービスとしてまずビジネスパーソンを対象として企業向けに展開していく予定です。さらに、ニューロフィードバック学習におけるフィードバック方法には、ゲーミフィケーションを取り入れ、学習者がより楽しんでトレーニングできるように改良を進めており、これについても導入を予定しています。
音声認識とニューロフィードバックという最先端テクノロジーを融合させることで、日本人が苦手とする英語を、苦手であることを意識させることなく、個人の能力に合わせて、楽しく効率的に学習することができる未来の語学学習支援サービスとして多くの学習者に貢献できることを目指します。


（注1）音声認識技術：（1）40種類の音素を前後に組み合わせて構成する64,000のトライフォンに基づいた発音分析のスコア、（2）発話の持続期間や区切りなどの流暢さを分析したスコア、（3）すべてのワードを欠かすことなく発話できたか、の3つの要素を組み合わせて学習者のスピーキング力を判定する技術。
（注2）ニューロフィードバック技術：脳波計測等により、現在の脳の状態を、視覚などを通して本人にフィードバックする技術。2017年6月15日発表　脳波を利用することで無意識に英語のリスニング能力が向上～RとLの音の違いに反応する脳活動をニューロフィードバックで強化する技術を開発～https://www.nict.go.jp/press/2017/06/15-1.html
（注3）大阪大学COIプログラム： https://www.coistream.osaka-u.ac.jp/
（注4）Test and Score Data Summary for TOEFL iBT Tests January 2016-December2016 Test Data
日本人の英語リスニング・スピーキング能力の国際比較
・主なアジア諸国のTOEFL iBT　リスニングスコア（30点満点、アジア31ヶ国中の順位）
　韓国21点（8位）、中国19点（19位）、日本17点（27位）
・主なアジア諸国のTOEFL iBT　スピーキングスコア（30点満点、アジア31ヶ国中の順位）
　韓国20点（16位）、中国19点（25位）、日本17点（31位）
（注5）2017年10月17日ニュースリリース：
http://www.keieiken.co.jp/aboutus/newsrelease/171017/
https://www.jsol.co.jp/release/2017/171017.html