CoeFont、大阪大学大学院情報科学研究科が研究・開発する「読唇による日本語発話システムLip2ja」に無償でサービス提供

病気等で声を失った方々の再び声を提供し、QOL向上に貢献

AI音声プラットフォーム「CoeFont」を提供する株式会社CoeFont（本社：東京都港区、代表取締役：早川 尚吾、以下当社）は、大阪大学大学院情報科学研究科に所属する御堂義博特任准教授、三浦典之教授と同大学院医学研究科に所属する猪原秀典教授の研究グループが共同で研究・開発に取り組んでいる「読唇による日本語発話システムLip2ja」に無償でサービスを提供いたします。これにより、ご病気等で声を失ってしまった方々の唇の動きから、伝えたいメッセージを推察し、音声で出力することができ、QOL向上に貢献いたします。

• 取り組み概要

当社が展開するAI音声プラットフォーム「CoeFont」を大阪大学大学院情報科学研究科に所属する御堂義博特任准教授、三浦典之教授と同大学院医学研究科に所属する猪原秀典教授の研究グループが共同で研究・開発を進める「読唇による日本語発話システムLip2ja」 に無償で提供します。当社の高品質なAI音声を活用することで、ご病気等で声を失ってしまった方々の唇の動きから、伝えたいメッセージを推察し、音声で出力することができ、QOL向上に貢献いたします。

読唇による日本語発話システムLip2ja

• デバイス概要

大阪大学で開発したAIを利用して、スマートフォンなどのカメラで撮影した口元の動画像から、発話したい内容の文字列を推定します。この文字列をCoeFontに入力して実際の発話を実現します。CoeFontには、ご病気に伴う手術などで声を失う前に事前にご本人の声を登録しておくことで、口元の動きのみから手術後に失われてしまった声を再生することが可能となり、手術後の患者さんご本人のみならず、一緒に暮らすご家族のQOL向上に貢献することができます。なお、本デバイスに関する講演を第75回日本気管食道科学会(2024年10月15日)にて発表予定です。

• 御堂 義博 氏プロフィール

2006年 大阪大学 博士(情報科学)

2006年 大阪大学大学院 情報科学研究科 特任研究員

2007年 大阪大学大学院 情報科学研究科 助教

2021年 大阪大学大学院 情報科学研究科 特任准教授

大阪大学 御堂 義博

• 大阪大学大学院情報科学研究科 特任准教授 御堂義博  氏のコメント

「大阪大学の医工連携による本共同研究では、発話によるコミュニケーションのバリアフリーを目指しており、不運にも自然な発話が難しくなったとしても、できる限り現在話している状態に近い形でコミュニケーション支援できるシステムを研究開発しています。

CoeFontとの出会いは、2024年5月に開催された第125回日本耳鼻咽喉科頭頸部外科学会総会・学術講演会のパネルディスカッションでした。AI音声の質の高さに感嘆しました。そこからスピード感を持って我々の研究を支援していただき、読唇を通じて自身の声で発話するというシステムの大幅な改善に繋がりました。

ふと、ご家族・ご友人との昔の記憶を思い出したとき、映像とともに鮮やかな声が呼び覚まされることは少なくありません。開発システムが日常生活の質を向上するとともに、大切な人の記憶に声という彩りを添えることができればと願っています。」

• 今後の展開

今後も、AI音声が社会インフラとして多くの方にご利用いただけるよう、大学の研究室や医療機関等との連携を積極的に進めてまいります。

• AI音声プラットフォーム「CoeFont」とは

CoeFontは、最新の技術を活用して、スピーチを表現豊かで使いやすい声に変換する革新的なAI音声プラットフォームです。CoeFontプラットフォームは、Text-To-Speech（TTS）、Voice Changer、およびCross-Language TTSアプリケーションを含む、幅広いコミュニケーションニーズに対応した多目的なソリューションを提供しています。CoeFont Voice Hubを使用することで、ユーザーは10,000以上のAI音声の豊富なライブラリにアクセスでき、任意のプロジェクトやプレゼンテーションに適した多くの選択肢が用意されています。トレーニングセッション、社内アナウンス、オーディオブック、ライブミーティングやストリーミング、または家族や友人との個人的な会話であっても、CoeFontはユーザーがどんな言語でも効果的に自己表現できるようにするツールを提供しています。詳細は、https://CoeFont.cloud をご覧ください。

• 株式会社CoeFontについて

2020年に設立されたCoeFont株式会社は、東京工業大学に登録され、AIを活用したサービスの開発と提供を行っています。同社は現在、AIに基づいた音声合成に焦点を当て、倫理的かつ包括的なAI音声プラットフォームの開発に取り組んでいます。CoeFont（https://CoeFont.cloud）は、すべての国と地域で利用可能です。