日本財団・香港中文大学　共同で公開AIが手話表現を認識する手話学習ゲーム「手話タウン」　Googleがゲームの基盤となる手話認識技術を開発

手話を楽しみながら学習するゲーム体験を「ろう者理解の入口」

日本財団（東京都港区、会長　笹川陽平）は、香港中文大学と共同で、「手話」や「ろう者」理解の促進を目指し、Googleおよび関西学院大学の協力のもと、AIが手話表現を認識する手話学習ゲーム「手話タウン」のベータ版を公開しました。多くの方に使用してもらい、フィードバックに基づいた改善を行ったうえで、手話言語の国際デーである9月23日に完成版の公開を目指しています。多くの方に使っていただき、フィードバックをいただけるよう、広くご周知くださいますよう、よろしくお願いします。

「手話タウン」ベータ版
ＵＲＬ：https://signtown.org/
＊フィードバックフォームは上記URL内にあります

　手話学習教材は、学習者が手話の映像等を見て手話を記憶する形式が主流となっていますが、今回開発した手話学習ゲーム「手話タウン」は、学習者が学んだ手話をパソコンのカメラの前で表現すると、その手話表現が学習できたかをAI（人工知能）技術で確認することができる、手話学習ゲームとなります。また、ゲーム内では手話の表現だけではなく、手話を母語とするろう者の文化も学ぶことができ、「手話やろう者を理解する入り口」として、本ゲームを役立てたいと考えています。

手話タウンのオープニング

手話をパソコンカメラで認識する様子

「手話タウン」について
「手話タウン」は、手話が公用語の架空の町を舞台に、手話を駆使しながらアイテムを集めていくオンラインゲームです。言語は英語・日本語・中国語（繁体字）から選ぶことができ、学ぶ手話言語は日本手話と香港手話から選ぶことができます。日本手話の収集は関西学院大学手話言語研究センターに協力いただきました。
学習者は、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、様々なテーマに合わせた手話をゲーム感覚で学ぶことができます。

各団体の本プロジェクトでの役割
日本財団：プロジェクト全体の統括、手話・ろう者に関する知見の提供、開発に必要な資金提供
香港中文大学：プロジェクト全体の共同統括、手話言語学における学術的な見地からの監修、香港手話の学習データ収集、ろう者に関する知見の提供
Google：プロジェクトのコンセプト立案、AIによる手話認識技術の研究開発
関西学院大学：日本手話の学習データ収集、ろう者に関する知見の提供

なお、「手話タウン」ゲームの基盤となっている手話認識技術のソースコード（＊）はオープンソースとして無償で公開しています。それによって、世界中の開発者や研究者が他の手話でも同様の認識技術を容易に開発することを可能にしています。

＊ソースコードとは、ソフトウェアやプログラムを構成する、プログラミング言語によって書かれた文書のこと。ここでは「手話タウン」の基盤となる手話認識技術をプログラミングしている文書のことで英語のみ取得可能。ソースコードの取得はこちら：https://github.com/google/shuwa （英語のみ）

手話認識技術の概要
手話は、手の動きだけでなく、体の動きや表情、うなずき、口形等も文法上重要な役割を果たしています。また、一般的なカメラは通常２Dで平面のみしか認識できず、動きや奥行きのある立体的な手話の動作を認識するためには、専用のカメラや手袋などの特別な設備が必要であり、一般的に普及させるのが難しい状況にありました。しかし、本プロジェクトは、通常平面のみしか認識しない一般的なカメラを使って立体的な手話の動きを、体の動きや表情、うなずき、口形等の特徴を含め認識する認識モデルを開発しました。（詳細は別紙参照）

自動翻訳モデル
本プロジェクトでは、一般的に普及しているパソコンやスマートフォンのカメラを用いて、手話による自然な会話を認識し、音声言語に変換できる自動翻訳モデルの開発を目指しています。今回公開した手話タウンは、プロジェクトの中間成果物に当たるものであり、手話表現に欠かせない手話の文法的な特徴の認識を目指しています。

社会的背景
手話は、ろう者が意思疎通を図るために使用する言語であり、ろう者の社会参画を促進するためには、手話で生活ができる環境が不可欠です。2006年に採択された国連障害者権利条約で「手話は言語である」と明記され、日本国内でも2011年に障害者基本法で手話の言語性が認められましたが、手話とろう者への理解が十分に浸透しているとは言い難く、生活のあらゆる面で手話による参加が妨げられている現状にあります。一方で、新型コロナウイルス感染症の世界的な蔓延で政府会見に手話通訳を付与する例が世界各国でみられるなど、手話への関心は高まっており、手話の普及を推進するための好機が生じていると考えられます。ICT活用も広く推進されていることから、最先端技術を活用した「手話」や「ろう者」理解の促進を目指し、世界で初めてとなる手話学習ゲーム「手話タウン」のベータ版を開発しました。

日本財団について

日本財団は、1962 年の創立以来、国境や分野を超えて公益事業をサポート

する、日本最大の社会貢献財団です。「みんなが、みんなを支える社会」を
実現するため、子ども・障害・災害・海洋・国際協力などの分野に取り組ん
でいます。https://www.nippon-foundation.or.jp/

香港中文大学について

1963年に設立された香港中文大学（CUHK）は、国際的に高く評価されている総合研究大学です。アジアの中心に位置し「伝統と現代、中国と西洋とを融合させる」を理念としています。大学独自のカレッジ(書院)制度のもと、９つのカレッジにおいてプログラムや活動を通じて人間教育やケア・サポートを提供することで、教育をより豊かなものにしています。大学には芸術、経営、教育、工学、法律、医学、科学、社会科学の8つの学部があり、大学院と合わせて、300以上のプログラムを提供しています。各学部は、幅広い分野の研究に積極的に取り組んでおり、質の高い学際的な研究を専門とする数多く研究機関や研究センターも充実しています。「ロイター：アジア太平洋地域の最も革新的な大学ランキング」において、4年連続で香港のトップ大学に選ばれ、総合でも26位にランクインしています。 本学は、イノベーションとテクノロジーの促進に力を入れており、現在、全世界で1,000件以上のライセンス特許を取得しています。その一部は、関連業界での使用が認可されており、イノベーションを市場導入することで社会へ貢献しています。 2019-20年だけでも、医療技術、バイオテクノロジー、情報技術、通信、材料科学などの分野で386件の特許を申請し、257件の特許を取得しています。https://www.cuhk.edu.hk

関西学院大学について

関西学院大学は1889年創立のキリスト教主義に基づく総合大学です。2015年4月

に日本の大学では初めて、手話を言語として研究する機関である手話言語研究セン
ターを設立しました。2016年より日本財団の助成を受け活動しています。
本プロジェクトでは日本手話の語彙の選定およびデータ収集に携わっています。
https://www.kwansei.ac.jp/c_shuwa/
 
（別紙）
今回開発した手話認識技術について

これまでの多くの手話認識モデルは、手の形と動きのみに焦点を当てた認識技術を開発していますが、手話は、上半身の向き、うなずき、表情等と組み合わせて表現するため、それだけでは精度の高い認識を行うことはできません。高精度の動作検出を実現させるためには、上半身、頭、顔、口も認識できる機械学習モデルを設計する必要があります。

これらの手話の重要な文法の特徴を認識するために、Googleが公開する機械学習用オープンソースライブラリTensorFlow™ を活用し、３つの機械学習モデルを組み合わせた手話動作の検出技術を開発しました。1つ目の機械学習モデルは人のポーズとジェスチャーを認識 するPoseNet、2つ目は口と顔の表情を認識するFacemesh、最後に手の形と指の検出のためのハンドトラッキングです。また、適切な学習データを得るために、日本と香港で手話を日常的に使用しているろう者の手話映像データを収集し、システムに学習させました。

この手話認識技術を活用し、手話学習ゲーム「手話タウン」として展開しました。本アプリは標準ブラウザ上で利用できるため、ダウンロードは必要ありません。さらに、すべてがJavascriptを使用してブラウザ内で実行されるため、速い通信速度で利用でき、ユーザーのプライバシーの観点からも安全です。