【優勝】第4回 AI王～クイズAI日本一決定戦～問題作成部門でパナソニックが優勝

高精度なプロンプトエンジニアリングによるAIクイズの自動生成にチャレンジ

パナソニックソリューションテクノロジー株式会社

2024年2月20日 10時00分

パナソニックソリューションテクノロジー株式会社（本社：東京都、代表取締役社長：伊藤一義／以下、パナソニック）の武田鷹広（AI部 AIプラットフォーム課）が2024年1月26日（金）に開催された「AI王〜クイズAI日本一決定戦〜　第4回コンペティション」（以下、AI王）の「問題作成部門」で優勝いたしました。
今回のコンペティション参加の機会や優勝をいただけたことを通じて、問題作成のために必要な「プロンプトエンジニアリング」では、AIクイズの「おもしろさ」と「正確性」の全く異なる性質のバランスをとることに対して大きな工夫を加えたことで、AIの今後の新たな可能性や、さまざまな分野での活躍の可能性を見出すことができました。

AI王は、東北大学をはじめとした各研究所による「AI王実行委員会」が主催する日本国内の質問応答研究を促進させることを目的として2020年から開始したコンペティションです。第4回コンペティションでは、「問題作成部門」と「早押し解答部門」の2つの部門に分かれており、今回「問題作成部門」に出場しました。

▼AI王～クイズAI日本一決定戦～の詳細はこちら

https://sites.google.com/view/project-aio/home

問題作成部門では、「文法などが正しく、嘘がなく、テーマに沿ったおもしろいクイズ」を自動生成する早押しクイズ自動作問AIを構築し、制限時間内に指定されたテーマに関するクイズを作成します。各チームは、AIが出力するクイズの精度、クリエイティビティを競い合います。独自のアプローチによって、限られた時間内で最も正確でユニークなクイズを生み出すことが求められます。

このコンペティションでの技術は、生成AIが間違った出力を行う、いわゆるハルシネーション（生成AIが出す事実に基づかない情報を生成する現象）などの課題解決につながります。日本語データセットが十分に揃っていないことなどから、AI王としては今回から新設された「問題作成部門」での審査方法は事前に提示された評価基準に基づき、審査委員の人力による評価で行われました。

予選で3位、本戦で2位となりましたが、1月26日に開催された決勝戦で1位に逆転し、優勝を果たすことができました。

表彰状

受賞者（武田鷹広）からのコメント

このコンペティションでは、プロンプトエンジニアリングが中心的な役割を果たしています。プロンプトエンジニアリングとは、LLM（大規模言語モデル：Large Language Models）へ適切な質問や指示を与える技術のことです。クイズを生成するに当たってタスクを細分化し、速度、コスト、正確性を考慮しながら、複数のクラウドLLMとローカルLLMを組み合わせ、それぞれのLLMに最適なプロンプトを与えることにより、高い精度のクイズ生成を実現できました。

今回最も苦労した点は、おもしろいクイズと正しいクイズはトレードオフの関係であり、おもしろいクイズ問題を作ろうとすると事実と異なる内容が含まれてしまい、事実関係を正しくしようとするとクイズとしてつまらない問題となる傾向がありました。LLMに与えるプロンプトの改良を重ねることでおもしろみのあるクイズ問題の生成ができるようになりました。

AI王～クイズAI日本一決定戦～第4回コンペティション集合写真（前列左から４番目）