筆記具の加速度センシングとディープラーニングによって集中力の予測が可能に

　三菱鉛筆株式会社（本社：東京都品川区　社長：数原滋彦）は、東京大学　大学院薬学系研究科の池谷裕二教授（以下「東京大学」）とストーリア株式会社（本社：東京都中央区　代表取締役：田谷圭司、以下「ストーリア」）との共同研究として、筆記具の役割である“書く・描く”ことに加えて、新たな提供価値を創出するための試みの一つとして、筆記具の動きと脳波を記録し、筆記具の動きから脳波を予測するという実証実験を実施いたしました。

　今回の実証実験の結果、筆記具の加速度データから集中力を予測できることが判明いたしました。さらに、本論文は、2023年度人工知能学会全国大会に採択されました。

【背景】

　当社は、筆記具という商品を通じて、多くの人が生まれながらに持つ個性と創造性を解き放つ表現体験そのものをご提供していくことを経営方針として事業活動を行っており、筆記具の提供価値を、“書く・描く”に限定することなく、さらに広げ、高めていくことを目指しております。

　新たな提供価値を検討する中で、日常的な筆記行為を通じて、自分の集中状態を把握することができれば自分自身に合った学習や作業を実現できるのではないかと考えるに至りました。さらには、教育分野における授業の最適化や、作業分野における作業効率向上、ストレス軽減にもつなげることが期待されます。

 　現在、集中力を予測するためには、脳波計などのデバイスを頭部に装着する必要がありますが、頭部にデバイスを付ける行為自体が煩雑、かつ集中力を下げる要因となる可能性もあり、データ取得において多くの課題を抱えています。筆記具の動きから集中力の予測が実現できれば、新たなデータ取得の方法になり得るとも考えております。

【実験手法】

　筆記具に装着し加速度を測定できるアタッチメント型のIoT機器（ストーリア製　試作品「Penbe」）を装着し、筆記動作をセンシングできるようにしました。この筆記動作センシングと同時に、脳波計を被験者に取り付け、集中力やタスクパフォーマンスとの関連が知られている脳の前頭葉のガンマ波成分を計測しました。これらの筆記動作（加速度）とガンマ波の二つを、ディープラーニングの一つである「長短期記憶ニューラルネットワーク手法（以下LSTM手法）」を用いて、時系列的に分析しました。

【実験タスクの概要】

　アラビア語学習経験のない被験者を対象に、60分間アラビア語の書き写しを行い、その後10分間ずつ絵画と数理クイズのタスクを課しました。アラビア語の書き写しをする60分間においては、集中を阻害するために、外部から各種の妨害（動画視聴やフリートーク）を行いました。

【本研究成果のポイント】

♦　外部から妨害を行った時間帯では、妨害の少ない時間帯に比べて、ガンマ波強度/デルタ波強度比率の平均が低いことがわかった。

　　そのため、ガンマ波強度/デルタ波強度比率が、集中度合いの指標として用いることが妥当と確認できた。

♦　筆記動作からLSTMネットワーク手法を用いて予測したガンマ波強度/デルタ波強度比率と、実際のガンマ波強度/デルタ波強度比率の、時系列変化の推移がほぼ一致することを確認した。（図1）

　

図1： 実測した脳波と、予測脳波の時間順プロット

♦　ガンマ波強度/デルタ波強度比率が0以上になる時間帯を集中、0以下になる時間帯を不集中と分けると、感度 （実測した脳波に対し、筆記動作から正しく予測できた割合）は、83.0%となった。

（注1）ガンマ波の発生量が課題に対する集中力と関連があることは過去の研究で示され、脳の休憩状態と関連するデルタ波で補正して集中力指標としての有効性が示唆されているが、「集中力」に対するより明確な定義や評価方法の確立は今後も検討が必要である。

（注2）被験者の数が限られており、さらに筆記具の加速度データと脳波データの関係は被験者によって異なる可能性があるため、汎用的な手法を提供するには、より多くの被験者を集めた実験が必要である。

【考察】

　この実験によって、LSTM手法を用いて筆記具の加速度データからデルタ波を予測できることが示されました。これは、脳波を直接測定することなく、日常的に使用する筆記具から脳内の状態を予測することができることを意味しており、教育や作業といったさまざまな場面において応用することができると考えられます。

【実験を踏まえたコメント】

三菱鉛筆株式会社　研究開発センター品川

　今回の実証実験の結果は、これまで“書く・描く”という筆記具が提供してきた価値に加えて、一人ひとりによって異なる集中状態を把握し、より効率的かつ的確な学習や作業を実現するという新たな価値提供につながる一歩と捉えております。集中力の予測という新たな技術を通じて、お使いいただくお客様に寄り添い、一人ひとりのユニークさを引き出すことによって、当社の企業理念である「違いが、美しい。」を実現していきたいと考えております。

　さらに、昨今のデジタル技術の飛躍的な進歩の中でも、依然として、集中力を予測するためには、脳波計といったデバイスを身体に装着しなければならない煩雑性から、これをビッグデータとして活用するには幾つかの障壁があります。日常的な筆記の動きによって、集中力を予測することができるようになれば、より簡便により多くのデータを収集することにつながり、これらのデータを用いて、より質の高い教育の実現をはじめとする多様な社会的課題解決の可能性をも探ることができると考えております。

【東京大学　大学院薬学系研究科　池谷裕二教授】

研究内容：専門分野は大脳生理学。

とくに海馬の研究を通じて、脳の発生機構と動作原理について、ⅰ）健康と疾患、ⅱ）成長と老化、の仕組みとその意味を探究し脳の研究について探究している。

 文部科学大臣表彰　若手科学者賞（2008年）、日本学術振興会賞（2013年）、日本学士院学術奨励賞（2013年）などを受賞。

著書：『記憶力を強くする』『海馬』『受験脳の作り方』

 論文：Science 304:559, 2004、同誌311:599, 2011、同誌335:353, 2012

【ストーリア株式会社】

会社名：ストーリア株式会社

所在場所：東京都中央区銀座1-22-11銀座大竹ビジデンス2F

設立日：2020年10月21日

代表者：田谷圭司

事業内容：集中と自主性を“Create”するというMissionに基づき、学習の重要なアウトプット動作「筆記」に注目し、集中力や勉強時間を可視化するIoT機器「Penbe」を開発している。

 URL: https://www.penbe.jp/

【論文情報】

張天依、佐藤由宇、田谷圭司、福田昂正、池谷裕二

筆記具の加速度センサーによる大脳皮質ガンマ波の予測

 第37回人工知能学会全国大会（熊本）、2023年6月9日、4Xin1-31

＜三菱鉛筆のプレスリリース一覧はこちら＞
https://www.mpuni.co.jp/company/press/index.html

※  商品に関するお問い合わせは「三菱鉛筆お客様相談室」でお受けしています。
  フリーダイヤル　０１２０－３２１４３３