AtCoderとSakana AI、組合せ最適化問題におけるAIのアルゴリズムエンジニアリング能力を測るベンチマーク「ALE-Bench」を共同開発

　AtCoder株式会社（本社：東京都新宿区/代表取締役社長：高橋直大、以下AtCoder）は、Sakana AI株式会社（本社：東京都港区/David Ha CEO、以下Sakana AI）と共同で、AIによるアルゴリズム開発能力を評価する新たなベンチマーク「ALE-Bench（ALgorithm Engineering Benchmark）」を開発しました。

　 ALE-Benchは、AtCoderが主催する「AtCoder Heuristic Contest（以下、AHC）」の最適化問題をもとに構成されており、既存のベンチマークでは評価が難しかった、AIが開発した最適化アルゴリズムの性能を客観的・定量的に測ることを可能にしました。

　またALE-Benchで扱うタスクは、創造性・高度な推論能力・継続的な改善能力を要するため、本ベンチマークは最適化アルゴリズムの性能評価にとどまらず、AI分野全体の研究開発を前進させる基盤となると捉えています。

■取り組みの背景

　物流の効率化、生産計画の最適化、電力供給の安定化など、社会を支える多くの産業活動の背後には「組合せ最適化問題」が存在します。これは、与えられた制約条件の下で最適解を求める数学的な問題であり、その解を求めるアルゴリズムの開発は、生産性の向上や業務効率の改善、コスト削減といった企業の事業成長につながるだけでなく、社会全体の課題解決にも大きく貢献します。

　これまでの組合せ最適化問題へのアプローチでは、課題ごとに異なる制約条件や性質に対応するため、高度な専門性を持つアルゴリズムエンジニアが、膨大な時間と労力をかけて試行錯誤を重ねながら、個別に最適化アルゴリズムを設計・開発してきました。

　もし、こうした人間の経験と知見に基づく最適化アルゴリズムの開発をAIで自動化できれば、さまざまな産業分野で効率化が進み、社会に大きなインパクトをもたらすことが期待されます。

　では、最適化アルゴリズムの開発に必要とされる「創造性」「継続的な思考」「試行錯誤による知見の蓄積」といった能力を、AIはどこまで模倣できるのでしょうか？そして、人間の代わりにAIが最適化アルゴリズムを構築する未来は実現可能なのでしょうか？

 

　こうした問いに答えるためには、AIの能力を正しく評価するための枠組みが不可欠です。
　この問題意識のもと、AtCoderとSakana AIは、組合せ最適化問題に対するAIのアルゴリズムエンジニアリング能力を測定するためのベンチマーク「ALE-Bench」を作成しました。

■ALE-Benchの概要

　ALE-Benchは、AHCで出題された多種多様な組合せ最適化問題40問で構成されています。自然言語で記述された問題文に加えて、可視化ツール、コード実行環境、順位算出用の評価ソフトウェアも提供しており、AIが人間の参加者と同じ条件でAHCに参加する状況を再現することができます。これにより、異なるAI同士を公平な環境で比較・評価することが可能になります。

　詳細は、論文やGitHubをご確認ください。

　　論文：https://www.arxiv.org/abs/2506.09050

　　GitHub：https://github.com/SakanaAI/ALE-Bench

■ALE-Benchが果たす役割

　ALE-Benchには、大きく分けて2つの重要な役割があります。

　ひとつは、組合せ最適化問題に対するAIの性能を評価する新たな手段を提供したことです。従来のベンチマークの多くは、正解/不正解を判定する形式が主流であり、最適化問題のように「解の良し悪し（スコア）」を競う課題に対応したベンチマークは少数に限られていました。ALE-Benchはこのギャップを埋めるベンチマークとして重要な役割を担うことが期待されます。

　もうひとつは、AIが最適化アルゴリズムを開発する際に求められる能力――「創造性」「継続的な思考」「試行錯誤による知見の蓄積」――を評価できる枠組みを提供している点です。これまで定量的に測ることが難しかったAIの高度な推論能力を組合せ最適化問題を通じて客観的に評価できるようになったことは、AI分野全体の進化に寄与するものといえます。

■AIエージェント「ALE-Agent」による検証結果

　ALE-Benchの開発とあわせて、組合せ最適化分野におけるAIの現在の実力を検証するため、AtCoderの許諾のもと、Sakana AIが開発したAIエージェント「ALE-Agent」（AtCoderアカウント名：fishylene）が、実際のコンテストであるAHC046およびAHC047に参加しました。

　この取り組みでは、AIが人間の競技者と同じルール・環境下で、約1000人の参加者と競い合いました。その結果、AHC046では154位（上位16％）、AHC047では21位（上位2％）にランクインする結果となり、AIによる最適化アルゴリズム開発能力が現時点でも高水準にあることが確認されました。

■AtCoder株式会社について

AtCoder株式会社は、701,161人(うち日本人301,072人)が参加登録し、毎週開催される定期コンテストには約12,000人が挑戦する、日本最大の競技プログラミングコンテストサイト『AtCoder(https://atcoder.jp/)』を運営しています。その他にも、高度IT人材採用・育成事業として、コンテスト参加者の成績を８段階にランク付けした「AtCoderランク」を利用する転職・求職支援サービス『AtCoderJobs(https://jobs.atcoder.jp/)』や、IT人材のプログラミングスキルを可視化できる検定『アルゴリズム実技検定・PAST(https://past.atcoder.jp/)』のサービスを展開しています。