「書いて、話す」オンライン英会話ベストティーチャー、生成AIを活用し、英作文添削の品質向上へ向けた新たな取り組みを推進
講師の英作文添削サポート機能を開発し、さらなる添削品質の向上を目指す
「書いて、話す」オンライン英会話「ベストティーチャー」を運営する株式会社ベストティーチャー（本社：東京都渋谷区、代表取締役社長：高宮敏郎）は、英作文添削の品質向上を目的に、生成AIを活用した新たな講師向けサポート機能を開発しました。これをベータ版として全講師に提供、フィードバックをもとに生成AIの可能性と改善点を分析し、さらなる精度向上に向けた取り組みを進めています。
生成AI活用検討の背景
「ベストティーチャー」は、英語を『書いて、話す』ことを通して習得するオンライン英会話サービスであり、その特長の一つはレッスンステップに「英作文添削」があることです。受講者が会話形式で作成した英文を外国人講師が添削し、単語や文法の誤り、より自然な表現や代替表現を学んだ上で英会話レッスンを進めることができます。
英作文添削はレッスンの中核を成す要素であり、受講者の学習効果を最大化するために、大量の英作文に対して添削内容の充実や迅速な添削・返却が求められます。これらを達成できるよう、サービス品質の向上を目指してシステム改善や講師トレーニング等を随時実施してきました。
近年、英語学習においても生成AIの活用が広がり、ChatGPTやGemini、Claudeなどの生成AIツールを活用した学習方法や学習サービスが提供されております。
ベストティーチャーでも、英作文添削の品質と速度をともに向上させるという重要な課題に取り組むため、生成AIの活用を検討し、特に以下の2つの課題を踏まえて整理を行いました。
検討時の課題①：多様な視点や文脈、状況を理解した添削が困難
ベストティーチャーでは、さまざまな国やバックグラウンドを持つ外国人講師が添削することで、多様な視点での指導を実現しています。また、添削の品質を高めるためには、英作文のシチュエーションや文脈、状況や時勢を理解した上での添削が不可欠だと考えております。
しかし、現行の生成AIを用いた検証を進める中で、英作文だけで文脈や状況を理解するには限界があり、使用するLLM(*1)の言語処理能力に依存してしまうという課題が明らかになりました。
*1：LLM（野村総合研究所） https://www.nri.com/jp/knowledge/glossary/lst/ta/llm
検討時の課題②：誤った添削の検知が困難
現行の生成AIによる回答は完全ではない場合もあり、指摘漏れやハルシネーション(*2)による誤りが発生することがあります。英語を学習中の受講者はこれらの誤りに気づくことが難しいために「不完全な／誤った添削内容」による学習を進めてしまうリスクが生じることが課題でした。
ハルシネーションや誤情報によるリスクは経済産業省のAI事業者ガイドライン案に対する意見でも指摘されており、対策が求められています(*3)。
*2：ハルシネーション（野村総合研究所） https://www.nri.com/jp/knowledge/glossary/lst/ha/hallucination
*3：AI事業者ガイドライン（経済産業省） https://www.meti.go.jp/press/2024/04/20240419004/20240419004.html
これらの課題を踏まえて、ベストティーチャーでは「生成AIが直接講師の代わりとして添削する」機能ではなく、講師のスキルや知識、経験に加えて「生成AIが添削をサポートする」機能の開発を進める方針とし、以下の3つの目的に基づいた機能開発、評価を進めました。
-
添削箇所や解説文の提案による、講師の添削作業効率の向上
-
講師が提案を活用することによる、添削箇所や解説文の正確性・一貫性などの精度の向上
-
講師がより自然な言い回しや代替表現の提供へ注力できることによる、添削品質の向上
初期開発における新たな課題の発見と改善
ベストティーチャーの英作文添削では、受講者の英作文に対して添削箇所と解説文をセットで提示しています。本開発ではChatGPT APIを利用し、講師が添削する際に、先行して生成AIによって添削された内容を提案する「生成AI添削サポート機能」を実装しました。
まずはプロトタイプを作成し一部の講師に対してテストを実施したところ、「添削箇所の見逃しが減った」「添削箇所の解説をする際に参考になった」「英作文の内容を理解するのに役立った」といったポジティブなフィードバックが得られた一方、以下の重要な課題も明らかになりました。
開発時の課題①：添削箇所と解説の不一致
プロトタイプによる提案では、添削箇所が提示されず解説文のみ提案される、添削箇所の提示はあるが解説文がない、添削箇所が本来の箇所からズレている、といったエラーが頻発しており、システム上での検証では実施した添削全体の20%以上で発生していました。
開発時の課題②：ルールや水準に沿った添削への精度不足
プロトタイプでは、「不完全な／誤った添削」の発生だけではなく、添削箇所が正しい場合においても、解説文が不十分であったり不自然になっているなど、ベストティーチャーの添削ルールや水準を満たしていない事例が発生しました。
これらの課題に取り組む中で、添削は複雑な処理であり、1つのプロンプトで対処することが困難であることが判明しました。また、添削する文章量が多いほど精度が低下する傾向があり、長文の英作文を必要とするIELTSやTOEFL iBT®などの資格試験への対策コースを提供しているベストティーチャーにとっては大きな課題となりました。
課題解消のためにプロンプトの改善だけではなく、講師が実施した大量の添削データを用いたファインチューニング(*4)を行うことにより、課題①に対しては発生率を5%以下まで抑え、課題②に対しても可能な限り講師の添削に近づけた内容を提供できるように改善を進めました。その結果、全講師に対して提供可能なサービスレベルまで達することができました。
*4：既存の学習済モデルに独自のデータを追加学習させてカスタマイズすること
ベータ版のリリースと講師フィードバック
一定水準のサービスレベルまで達成した後、ベストティーチャーの全講師を対象にベータ版として機能リリースを実施しました。その一ヶ月後に機能を使用した講師に対してアンケートを実施し、57名から以下のフィードバックが得られました。
生成AI添削サポート機能による効果
「生成AI添削サポート機能は、3つの目的を達成していると思いますか。」という質問に対して、ほぼ全員が部分的、またはそれ以上達成していると回答しました。特に、12.3%が「達成している」、22.8%が「おおむね達成している」と回答しました。
「達成している」以外の回答を選択した講師へ正確に添削されていない点を聞くと、82.4%が「不明瞭な文」に対する添削が正確ではないと回答しました。また、52.9%が「トーンと表現の一貫性」、51%が「文法間違い」に対する添削が正確ではないと回答しました。
「生成AI添削サポート機能が提供する内容で最も役立ったものは何ですか。」という質問に対して、「代替表現の提供」が42.1%で最多となりました。
「生成AI添削サポート機能によって、添削作業の効率は向上しましたか。」という質問に対して、約半数の50.9%が「向上した」と回答しました。一方で40.4%が「変化なし」、8.8%が「悪化した」と回答しました。
生成AI添削サポート機能が提供する添削箇所の解説文について
「生成AI添削サポート機能が提案する解説文はどの程度正確ですか。」という質問に対して、「とても正確」または「おおむね正確」と回答した講師は合計で35.1%でした。一方、「半数程度は正確」との回答が49.1%、「不正確なことが多い」または「いつも不正確」との回答が合計15.8%となり、多くの講師は解説文の正確性が十分ではないと感じていることが明らかになりました。
「半数程度は正確」「不正確なことが多い」「いつも不正確」と回答した講師にその理由を尋ねると、「解説が文法的でない（"より自然"、"より明確"など浅い指摘）」との回答が65.9%、「添削と解説内容の不一致」との回答が56.1%に上り、添削箇所と解説内容の両面で不十分であることが判明しました。
「生成AI添削サポート機能の解説文は添削作業の際に役立ちましたか。」という質問に対しては、「非常に役立った」または「役立った」と回答した講師は合計で57.9%でした。解説文の正確性は不十分と感じている講師が半数以上である一方で、解説文を提供すること自体は半数以上の講師に評価されていることがわかりました。
生成AI添削サポート機能が提供する代替表現について
「代替表現を考える際、生成AI添削サポート機能が提供する代替表現は参考になりましたか。」という質問に対して、26.3%が「非常に参考になった」、56.1%が「ある程度参考になった」と回答しました。
「生成AI添削サポート機能による代替表現の提案を受けて、あなた自身の代替表現を提供しようとする意識は高まりましたか。」という質問に対して、19.3%が「大幅に向上した」、42.1%が「少し向上した」と回答しており、60%以上の講師がモチベーションの向上を感じていました。
「以前と比較して、代替表現の提供頻度はどのように変化しましたか。」という質問に対して、10.5%が「大幅に増えた」、49.1%が「少し増えた」と回答し、約60%の講師が代替表現の提供頻度が増えたと実感していました。
今後の展望について
生成AI添削サポート機能は、ベータ版リリース後に実施した講師からのフィードバックでは半数以上の講師が目的を達成していると評価しており、添削品質向上に寄与していることが確認できました。特に、40%以上の講師が代替表現の提案を最も役立つ要素として評価しており、モチベーションの向上にも貢献しています。実際に、講師自身がより細やかな、学習に役立つ添削を行うことに注力できるようになった事例も生まれています。
一方で、内容の正確性や自然さにまだ課題を感じている講師も多く、フィードバックを通じて新たなエラーがあることも明らかになりました。より多くの講師が本機能の活用を通して英作文添削の効率・精度・品質を向上できるように、今後も改善を続けていきます。
開発面ではフィードバックを踏まえて、本機能に対するネガティブな評価を持つ講師へ配慮する形での提供形態としつつ、プロンプトの調整やファインチューニングの継続による添削漏れや誤りの改善を実施しております。
運用面では、ポジティブな評価を持つ講師へのトレーニングにおいて、本機能を活用し、より積極的に代替表現を提供するよう促進するとともに、これまで以上に添削内容の品質向上に努めています。
長期的には、ChatGPT以外の生成AIを用いた検証や、学習データの精査によるファインチューニングの精度向上にも取り組む予定です。
ベストティーチャーでは、受講者の皆さまにより高品質で学習効果の高い添削を提供するため、引き続き努力してまいります。
※TOEFL iBTはETSの登録商標です。このコンテンツはETSの検討を受けまたはその承認を得たものではありません。
キャッシュバックキャンペーン開催のお知らせ
この秋に英語力アップを目指す皆さまを応援するため「秋の英会話スタートキャンペーン」を開催しております。ぜひこの機会にベストティーチャーのレッスンをご体験ください。
■キャンペーン内容
基本的なレッスンの流れを理解できる「チュートリアルミッション」をすべて達成することで、受講料が最大50%OFFになる『6,000円キャッシュバッククーポン』がもらえます。
■キャンペーン期間
2024年9月1日(日) ~ 2024年9月30日(月)
■対象者
・キャンペーン開始時点で無料会員登録されている方
・キャンペーン期間内に新規無料会員登録された方
詳細については、キャンペーン特設ページにてご確認ください。
ベストティーチャーについて
ベストティーチャーは、英語を「書いて、話す」ことを通して習得するオンライン英会話サービスです。まず自分の伝えたいことをライティング（英作文作成）し、添削によって正しい表現を学んだ後、添削を通して作られた「自分だけのオリジナル教材」を使ってスピーキングレッスンを行います。これらの一連の流れを1レッスンとすることで、正確な英語力の習得を目指します。
ウェブサイト： https://www.best-teacher-inc.com
App Store：https://apps.apple.com/jp/app/id1130897021
Google Play：https://play.google.com/store/apps/details?id=com.best_teacher_inc.android
■公式SNS
X（旧Twitter）：https://x.com/BestTeacher_jp
Instagram：https://www.instagram.com/best_teacher_jp/
Facebook：https://www.facebook.com/bestteacherinc/
YouTube：https://www.youtube.com/@BestTeacherInc
■会社概要
株式会社ベストティーチャー
会社名 ： 株式会社ベストティーチャー
代表者 ： 代表取締役社長 高宮敏郎
所在地 ： 東京都渋谷区代々木1-27-5 代々木市川ビル2F
設立 ： 2011年11月1日
事業内容： 「書いて、話す」オンライン英会話 ベストティーチャーの運営
URL ： https://www.best-teacher-inc.com
このプレスリリースには、メディア関係者向けの情報があります
メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。
すべての画像
