KDDIテクノロジー、スマートグラスを用いた対面対話自動同時通訳システムの実証実験を実施

　株式会社KDDIテクノロジー（本社：東京都江東区､代表取締役社長：大井 龍太郎）は、TOPPAN 株式会社（以下 TOPPAN）とともに総務省委託・多言語翻訳技術高度化推進コンソーシアム（※）に参画しています。
　今回この活動の一環として、スマートグラスを用いたハンズフリー化と自動同時通訳技術を組み合わせた対面対話同時通訳システムの実証実験を、KDDI八俣送信所（茨城県古河市）およびKDDI MUSEUM（東京都多摩市）にて実施しました。

　本実証実験では、総務省委託研究において試作したハンズフリー対面対話同時通訳システムが、イベントや展示会場など、同時通訳のコミュニケーションが求められる実用シーンにおいてどのように寄与するかを確認し、その成果を今後の同時通訳システムの改善に活かし、社会実装を目指していきます。
　なお、本実証実験においてKDDIテクノロジーはデバイス・アプリケーションの開発から実証フィールドの調査・選定および実証実施を担い、TOPPANは全体設計・プロジェクト管理を担っています。

　※本コンソーシアムは総務省が2020年度より実施している情報通信技術の研究開発課題「多言語翻訳技術の高度化に関する研究開発」の委託先6団体と、社会実証を担当する3団体で構成しています。

＜KDDI 八俣送信所（茨城県古河市）＞

＜KDDI MUSEUM（東京都多摩市）＞

1. 実証実験の概要と成果
　KDDIテクノロジーは、スマートグラスを用いたハンドサインで操作可能な対面対話同時通訳システムを開発いたしました。利用者がお互いにスマートグラスをかけている場合は、相手の言語でスマートグラスの画面に表示／音声で発話されるようになり、片方のみがスマートグラスをかけている場合は、手元のタブレット端末に翻訳が表示されます。また、常時マイクONのままだと周りのノイズを拾い誤認識・誤訳の原因になるため、利用者のハンドサインを画像認識して、スマートグラスに付いているマイクのON/OFFをを制御することができます。　
　今回、イベントや展示会場における対面対話同時通訳のユースケースである、説明員が複数名の外国人来場者をツアーガイドするシーン、および案内係が外国人来場者を1対1で案内するシーンを想定し実証実験を行いました。大規模なイベントにおいて屋外でツアーガイドおよび道案内をするシーンをKDDI八俣送信所にて、展示会場内の受付およびショールーム案内をするシーンをKDDI MUSEUMにて行いました。実証実験後、アンケート調査やヒアリングを行い、ハンズフリー対面対話同時通訳システムの有用性を確認しました。

＜実施場所＞
・KDDI八俣送信所（2023年11月1日、11月13日）
・KDDI MUSEUM（2023年11月8日、11月15日）

＜実施内容＞
・外国人来場者複数名に対してのツアーガイド

・外国人来場者と1対1での案内

＜検証内容＞
①会話する目的を達成できたか（ガイド説明の理解、質疑応答）

②ハンドサインによる操作の習得は容易か（会話中のスムーズな操作）

③スマートグラスによる翻訳結果やアイコンの表示は適切か

＜成果＞
①外国人来場者はガイドが説明した内容をおおむね理解し、質疑応答を行うことができることを確認

②ハンドサインは種類が少なく単純なジェスチャであれば分かり易く受け入れられることを確認

③スマートグラスでの翻訳結果（字幕/会話履歴）およびアイコンの適切な表示位置を確認

関連して下記について確認した。
・ツアーガイド（屋内、屋外）における複数の言語相手への多言語同時通訳の有用性を確認
・ハンズフリーで利用できる同時通訳システムの有用性を確認
・操作しやすく誤検知の少ないハンドサインのパターンを確認
・スマートグラスの画面上における目に負担の少ない翻訳結果やアイコンの表示位置を確認

2. 背景
　長期で行われる国際イベントの場合、各国から多くの来場者が見込まれ、会場での対面対応が繁雑になるため、操作の簡便性が求められると想定されます。さらに、来場者におけるバリアフリー性、屋外での対応なども考慮すべきと考えられます。
　また、将来的にスマートグラスやウェアラブルデバイスの進化に応じ、より簡単により自然に言語の壁を越えたコミュニケーションを可能とするため、周辺技術の活用が重要となります。

3. 今後の展開
　本実証実験の結果を基に、より簡単により自然に言語の壁を越えたコミュニケーションを可能とする同時通訳システムの実用化を目指していきます。

（参考）
■株式会社KDDIテクノロジーについて（https://kddi-tech.com/）
　KDDIグループで培った高い技術力と豊富なノウハウをベースに、先端テクノロジーの活用をワンストップで提供し、新しい価値を創造し続けています。XRやスマートドローンのシステム開発、モバイルアプリケーション開発、　KDDI製品・サービスの品質評価など様々な技術サービスを展開し、近年ではAIソリューション開発にも力を入れています。
　「技術で夢を現実に。」という企業ビジョンのもと、企業や消費者、そして社会の問題解決のために、人と技術をつなぐことをミッションに掲げています。

■TOPPAN株式会社について（https://www.toppan.com/ja/）
　TOPPANグループは1900年の創業以来、「印刷テクノロジー」をベースに「情報コミュニケーション事業分野」、「生活・産業事業分野」および「エレクトロニクス事業分野」の３分野にわたり幅広い事業活動を展開しています。