【新機能】スマホに直接話しかけて複数の単語を「入力」、単語単位で「削除」ができるインタラクティブ音声検索を開発（特許出願中）。ハンズフリーで料理が学べるスマホアプリ「FamCook」に機能追加

「食材」「調理法」「料理名」などのキーワードをスマホに話すと、アプリがレシピを検索し紹介します

　家事／育児サポートアプリ開発の株式会社Fam-Time（神奈川県川崎市高津区、代表取締役CEO　西村威彦以下FT）は、2019年1月31日に新たに開発したインタラクティブな音声検索機能を、ハンズフリーで料理が学べるスマホアプリ「FamCook」に追加しました。本機能は、スマホに直接話しかけて「食材」「調理法」「料理名」など複数の単語を「入力」、また単語単位で「削除」を行いレシピ検索をすることができます。通常の音声認識では、音声入力の終わりを一定の無音で判断するため、一度に全ての言葉を話す必要がありました。
　FamCookは、家族が楽に効率よく料理できるNo.1アプリサービスを目指し、今後も新機能を開発していきます。本機能は音声インターフェイス（VUI）デザインとして特許を出願しております。

 

＜新機能インタラクティブ音声検索（特許出願中）とは＞
■機能の特徴
　インタラクティブ音声検索機能の実行中は、何度でも音声でキーワード入力ができます。更に音声認識をするたびに、認識結果を画面で確認でき、画面インターフェース（GUI）や音声コマンドで一度入力したキーワードを削除できるようにしました。これは、一定時間の静寂で終話を検知する従来手法とは異なり、特定の音声コマンドや、画面タッチを音声入力の終わりと定義し、都度音声認識モードになるようにしました。このため、自分のペースで考えながら話す、インタラクティブな音声入力ができるようになりました。

■音声インターフェース（VUI）への期待
　音声UIは喋るだけでテキストが入力できる事から、キーボードやフリック入力より手軽であり、子供などが使うUIとしても期待されています。

■音声検索の課題
　従来の音声検索では、一息で喋ることを前提として開発されていました。その為、レシピの検討など、悩みながらレシピの条件を都度喋るような利用シーンには適していませんでした。これは、２、３秒でも言葉に詰まると音声入力は終了してしまうからです。
　しかし、日常の生活シーンでは、冷蔵庫の食材を見たり、食材の日持ちを考えたりしながらどんな料理を作るか考えます。その為、最初から「にんじんを使ったスープ」と結論が出ているわけではありません。

■利用イメージ
　このように、日常の生活シーンで、考えながら「にんじん」、「玉ねぎ」、「スープ」などの単語を思いついたまま発言し、その発言に対してインタラクティブなフィードバックを返し、更に一度入力した単語も音声で削除できるなど、編集もできる新たな音声検索サービスを開発しました。
 

音声検索の流れ

■想定利用シーン
本音声検索機能は以下のような利用シーンを想定しております。

• 冷蔵庫の食材を見ながらレシピを検討する
• 思いついたメニューや料理ジャンルからレシピを検索する
• 検索結果を見ながら、検索条件を変更してレシピを検索する

■主な音声コマンド
　現在組み込まれている主な音声コマンドは、以下の３つです。これらの音声コマンドによって、一度入力した単語も入力後に削除できる為、間違いを恐れずに思いつくまま音声入力する事ができます。

• 削除：一番最後に入力された単語を削除します。
• クリア：入力された全ての単語を削除します。
• 停止：音声認識を停止します。

　なお、単語の削除は、音声コマンド以外にも、画面の入力した単語横の「×」印をタップして削除することもできます。

■期待される効果
　これによって、以下の効果が期待できます。

・音声認識の結果を画面で確認可能
　話した単語は、音声認識の結果として画面で確認する事ができます。意図しない認識結果になった事も画面で確認できる為、すぐに修正できます。
・マイペースで複数単語の音声入力が可能
　考え込んでしばらく時間が空いてしまっても音声認識が続く為、マイペースで音声入力ができます。
・食べたい料理や使いたい食材を思いついたまま喋って入力可能
　あとでいくらでも削除できますので、思いついた単語を喋る事ができます。
・ハンズフリーで入力可能
　音声入力なので、冷蔵庫の側にスマホを置き、両手で冷蔵庫の食材を確認しながら喋って入力ができます。

■FamCookに実装
　本音声検索機能は、約３ヶ月間の社内検証を経て、自宅で家族と楽しく料理が学べるスマホアプリ「FamCook」の最新バージョン（バージョン2.3.0以降）に追加し、1月31日にリリースしました。お手元のiPhoneやAndroidスマホで機能を使う事ができます。
 

FamCook音声検索

アプリ内の音声検索アイコンをタップする事で、音声検索が始まります。

 

 

 

音声検索アイコン

　FamCookは、料理の「スタートアップ／スキルアップ」を支援する、ハンズフリーで操作できる料理教室アプリです。スマホ等の画面上のレシピを選び、音声ナビをスタートさせると、音声で料理の手順を案内します。「次」と話しかけると、次の手順に進み、自分のペースで料理を作ることができます。料理初心者がFamCookを利用することで、料理教室に通って学ぶように初心者でも料理の作り方を習得することができます。

https://fam-time.com/services/famcook/

FamCook

 

 

■音声UIとして特許出願
　なお、本音声検索機能は、レシピの検討だけでなく、様々な利用シーンでの活用が期待されます。本音声検索機能は音声UIデザインとして、特許出願しました。本機能をパートナーとして採用をご検討の方は、弊社までお問い合わせください。
　Fam-Time社はこれまで独自の音声UXを開発しており、これまで複数の特許を出願しております。

■会社概要
会社名：株式会社Fam-Time
代表者： 代表取締役CEO　西村威彦（にしむらたけひこ）
所在地：川崎市高津区末長
連絡先： E-mail:[e-mail]
事業内容：スマートフォンアプリ開発、ITを活用した家事、育児に関する支援サービス
URL： https://fam-time.com/