【音声入力アプリ4製品の日本語入力を比較】話した言葉は「そのまま送れる文章」になるか、ビジネスシーンで使う文章131問で採点した公開ベンチマーク「ja-dictation-bench v1」を公開

問題・期待出力・採点の基準・判定の理由まですべて公開。音声入力アプリ SayonaraType を開発する CACTUS TOKYO が作成

株式会社CACTUS TOKYO（本社：東京都、代表取締役：熊谷渓司）は、話した日本語がそのまま送れる文章として入力されるかを測る公開ベンチマーク「ja-dictation-bench v1」と、その研究レポートを公開しました。ビジネスシーンで使う文章131問を合成音声で読み上げ、意味・言いよどみと言い直し・構造・表記の4つの層で採点します。問題・期待出力・採点の基準（ルーブリック）・問ごとの判定と理由は GitHub で公開しています。音声データは Hugging Face で承認制により提供しています。測定したのは、Typeless・SayonaraType・Aqua Voice・Wispr Flow の音声入力アプリ4製品です。

背景：「書き起こし」と「送れる文章」のあいだ

音声認識の評価指標の一つに、書き起こしの正確さを測る文字誤り率があります。一方、LLM で文章を整える音声入力アプリでは、意味を保ちながら言いよどみや言い直しを整理できるかも重要です。本ベンチマークでは、書き起こしから文章の整形までを含む出力を、日本語のビジネスシーンの文章 131 問で評価します。

説明用の例。研究レポートの問題（ext:28・チャット）を元に作成

ja-dictation-bench v1 の概要

項目	内容
問題	ビジネスシーンの文章 131 問（チャット 60・記録 46・メール 13・AI への指示 12）
音声	すべて合成音声（6 声）。実在の人の声は含まない
採点	4 層のルーブリック（意味・言いよどみと言い直し・構造・表記、46 項目）。機械の検査と2つの LLM の二重採点、割れたところは人が判定
公開	問題・期待出力・ルーブリック・問ごとの判定と理由・コード。文字は CC BY 4.0、コードは MIT、音声は評価専用

採点基準は、日本語の構造、話し言葉の転記、公用文の書き方に関する資料や既存研究を参考に作成しました。

合成音声131問による当社評価：Typeless 91.3点、SayonaraType 89.7点

2026年11月に、音声入力アプリ 4 製品・5 つの設定で、日本語の入力を測りました。共通の 131 問の音声（1 問 1 声）と採点基準を使い、各社の有料版で、辞書を登録しない条件で測定しました。言語設定や個人向けの学習機能などの設定は、製品ごとに研究レポートで公開しています。

SayonaraType は版 1.3.0 で、サーバー側の代替の経路を変更した後の 2026年11月4日の測定結果です。測定後の11月9日にもサーバー設定を変更しており、掲載値は11月4日の構成による結果です。同製品には代替の経路の利用件数に基づく測定回の採用条件を設けており、採用しなかった回と条件の詳細も公開しています。

本評価は、測定対象の一つである SayonaraType の開発元、株式会社CACTUS TOKYO が実施しました。SayonaraType のモデルと指示文の選定には、今回の評価と同じ 131 問を使用しています。そのため、未知の問題で評価した場合より同製品の点数が高く出ている可能性があります。2 つの LLM には製品名を伏せて採点させ、判定が一致しなかった箇所は当社側で人が判定しました。第三者機関による評価ではありません。問ごとの判定と理由を公開しています。

当社評価／合成音声131問／独自基準の総合点（音声認識の正解率ではない）／SayonaraType の構成選定にも同じ131問を使用／初期設定・辞書なし・2026年11月。値はいずれも当社の環境での測定

製品	総合点（0〜100）
Typeless	91.3
SayonaraType	89.7
Aqua Voice	57.8（Avalon 1.5 の設定）／58.4（Whisper の設定）
Wispr Flow	57.6

総合点は、意味の保存・言いよどみの除去・構造化・表記と文体を当社の基準で採点した値です。意味の保存の基準に違反した問題は 0 点とし、131 問で平均しています。音声認識の正解率や、速度・価格・使い勝手を含む総合評価ではありません。値はいずれも当社の環境での測定です。

今回評価した 4 製品・5 設定では、当社の採点基準による総合点は Typeless、SayonaraType の順でした。両製品の総合点の差（SayonaraType − Typeless）は −1.6 点で、95% 信頼区間は −6.8〜＋3.6 点でした。この評価では差を明確に検出できませんでしたが、両製品の性能が同等であることを示すものではありません。Typeless・SayonaraType のそれぞれと、Aqua Voice の 2 設定・Wispr Flow を比較した 6 組では、総合点の差は約 31〜34 点でした。全 5 設定で、意味の保存の基準に違反した判定は延べ 183 件でした。このうち 162 件（約 89%）に、内容語や用語の取り違え・欠落が含まれていました。

音声入力アプリを日本語で使うときに確かめたいこと

自分の声と普段使う文章で試し、固有名詞・数字・否定・言い直しが意図どおりに残るか、修正にどれだけ手間がかかるかを確かめてください。書き起こしだけでなく、言いよどみの除去、箇条書きや改行、英字とカタカナの表記まで見ると、製品ごとの違いが分かります。辞書や個人向けの設定を使った場合の変化も、選ぶ際の判断材料になります。

本評価は、合成音声 131 問を用いて出力された文章を評価したものです。実際の話し声での使いやすさ、入力の速さ、料金、対応環境、データの取り扱いは別途確かめる必要があります。今回の点数だけで、すべての利用者に合う製品を決めるものではありません。

SayonaraType について

SayonaraType は、話した日本語を、そのまま送れる文章に整えて入力する Mac 向けの音声入力アプリです。日本のビジネスパーソンのために設計しています。AI への長い相談も、メールも、チャットも。毎日たくさんの文字を打つ人に。

• 対応：Mac（Apple シリコン M1 以降・macOS 14 以降）

• 料金：無料（毎週 約4,000文字）、有料は月 3,300円（税込）・年 23,100円（税込）

• URL：https://sayonaratype.com/ja/

公開先

• 研究レポート（日本語）：https://sayonaratype.com/ja/research/ja-dictation-bench-v1/

• 研究レポート（英語）：https://sayonaratype.com/en/research/ja-dictation-bench-v1/

• 結果の要約：https://sayonaratype.com/ja/benchmark

• GitHub：https://github.com/sayonaratype/ja-dictation-bench

• Hugging Face（音声・承認制）：https://huggingface.co/datasets/sayonaratype/ja-dictation-bench

利益相反と限界

当社は、測定した製品のうち SayonaraType の開発元です。第三者機関による評価ではないため、問ごとの判定と人の判定の理由をすべて公開し、異議を受け付けています。また、SayonaraType の公開版の構成は、本ベンチマークと同じ 131 問を使った社内の実験の点で選んだため、新しい問題で測った場合より高めに出ている可能性があります。このほか、合成音声だけで測ったこと、辞書なしの条件であることなどの限界は、研究レポートの「限界」の章にまとめています。

今後

第三者の肉声を足し、合成音声との差を測り直す予定です。また、次の版からは、当社製品の構成の選定には本ベンチマークに含めない別の問題を使い、本ベンチマークは選んだ後の構成を測るためだけに使います。

会社概要

項目	内容
会社名	株式会社CACTUS TOKYO
代表者	代表取締役 熊谷渓司
所在地	東京都世田谷区太子堂4-18-15 マガザン三軒茶屋2-3F-3
事業内容	音声入力アプリ SayonaraType の開発・運営
URL	https://sayonaratype.com/ja/

本件に関するお問い合わせ

SayonaraType 研究チーム　[e-mail]