朝日新聞社発の研究論文が世界トップクラスの国際会議「ACL 2026」本会議に採択

AIの答えをより正確に評価する新手法を提案　生成AIの信頼性向上への貢献に期待

　

　株式会社朝日新聞社（代表取締役社長CEO：角田克）は、当社メディア研究開発センター員が手掛けた研究論文が自然言語処理分野における世界最高峰の国際会議の一つ「The 64th Annual Meeting of the Association for Computational Linguistics（ACL 2026）」の本会議に採択されました。本論文は、メディア研究開発センターに在籍していた川畑 輝が主著者として執筆し、大規模言語モデル（LLM）が出力した答えの「良し悪し」を、より正確に評価するための新しい手法を提案しています。

　生成AIの活用が広がる中で、「AIの答えをどう評価するか」は重要な課題となっています。本研究は、AIの評価をより正確に行う手法を示すもので、生成AIの信頼性向上に貢献することが期待されます。

AIの出力を評価する際の課題

　大規模言語モデルの出力を評価する際には、「どの観点を確認すべきか」を整理した評価基準（ルーブリック）を用いることで、判断のばらつきを抑え、安定した評価が可能になります。一方で、良質なルーブリックを人手で作成するにはコストや時間がかかるという課題があります。さらに、低品質なルーブリックは評価の助けになるどころか、判断を誤らせる可能性もあることが分かりました。

2つのAIが協力して学ぶ新手法「C2」

　川畑らは、こうした課題に対し、ある問いに対する2つの答えと、答えの優劣が振られているデータ（2値選好データ）だけを出発点として、ルーブリックを用いた評価の質を高める仕組み「Cooperative yet Critical reward modeling（C2）」を提案しました。

　この仕組みには、役割の異なる2つのAIが登場します。「ルーブリックを提案するAI」と、「その評価基準を使って、答えの優劣を判定するAI」です。

　まず、提案役が複数のルーブリックを生成し、判定役がそれぞれを使って答えを評価します。その結果、判定が正解に近づいたものを「良いルーブリック」、遠ざかったものを「悪いルーブリック」として、自動的にペアデータを収集します。このペアデータを用いて両者を協調的に学習させることで、提案役は良いルーブリックを出せるようになり、判定役は悪いルーブリックを鵜呑みにせず判断できるようになります。

従来手法を上回る性能を確認

実験の結果、本手法は同じ2値選好データから学んだ従来手法を、評価精度で上回りました。また、実験に用いたモデルをC2の枠組みで学習させると、自身の約4倍の規模をもつAIが作ったルーブリックを参照する設定と同等の性能に達することも確認されました。

C2（Cooperative yet Critical reward modeling）の枠組み（本論文より引用）

　朝日新聞社は最新テクノロジー、特にAI分野での研究を推進し、社内外のLLM技術の利活用やDXに貢献していきます。

■論文について

Akira Kawabata, Saku Sugawara. C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026), San Diego, U.S.A., July 2026. https://arxiv.org/pdf/2604.13618

邦題：二値選好からのスケーラブルなルーブリック拡張型報酬モデリング（C2）

■ACLについて

ACL（Annual Meeting of the Association for Computational Linguistics）は、自然言語処理・計算言語学分野における国際会議の一つです。ACL 2026（第64回年次総会）は2026年7月2日から7日にかけて、米国カリフォルニア州サンディエゴで開催されます。

■メディア研究開発センターについて

メディア研究開発センターは2021年4月に発足しました。人工知能をはじめとする先端メディア技術と、新聞社ならではのテキストや写真、音声などの資源を活用し、社内外の課題解決を目指すとともに、自然言語処理や画像処理をはじめとした先端技術の研究・開発を進めています。

朝日新聞社メディア研究開発センター 人工知能研究の取り組み（https://cl.asahi.com/）