自社開発のセキュリティ特化モデル「ASL-Cyber-Flash」、CyberGym Level 1でModel-focused部門の首位スコアを上回る結果を記録

～ Level1全1,507タスクにおいて再現成功率86.07%を達成～

株式会社エーアイセキュリティラボ

2026年9月11日 11時30分

株式会社エーアイセキュリティラボ（https://www.aeyesec.jp/ 東京都千代田区、代表取締役社長：青木歩）が自社で開発したセキュリティ特化モデル「ASL-Cyber-Flash」が、脆弱性解析ベンチマーク「CyberGym」のLevel 1において、公式リーダーボードのModel-focused部門の首位スコア（2026年9月10日時点）を上回るスコアを記録したことをお知らせいたします。

「ASL-Cyber-Flash」は、DeepSeek社がMITライセンスで公開するオープンウェイトモデル「DeepSeek-V4-Flash-0731」（304Bパラメータ）をベースモデルとし、当社が独自に構築したセキュリティ専用データセットでSFT（教師あり微調整）を施したモデルです。

ASL-Cyber-Flashの測定結果

再現成功率 86.07%
- Level 1全1,507タスク中1,297タスクで検証済み成功（verified_success）。
総コスト約240ドル
- NVIDIA B300を1基のみ用いた自社vLLM環境で、約30 GPU時間・総額約240ドル（1タスクあたり約0.16ドル）で全タスクを完走。
Pass@1（1タスク1試行）での達成
- 複数試行やアンサンブルを用いていません。CyberGymはいずれかの試行が成功すればそのインスタンスを解決済みと数えるため、試行回数を増やせばスコアは上振れします。本結果は最も厳しい試行条件下での数値です。
評価条件
- dynamic。test-time memoryは使用していません。
前提条件
- Web検索系ツールを無効化し、外部からの解答混入を遮断
- 修正済みリポジトリおよび正解PoCをモデルから秘匿

検証結果の詳細はこちらからご覧いただけます。

技術的背景と実用価値

本成果の中核は、モデル規模の拡大ではなく、対象領域に絞った学習データの設計にあります。軽量なオープンウェイトモデルをベースに、脆弱性再現タスクへ特化したSFTを施すことで、単一GPUで動作する構成のままフロンティアモデルに匹敵する成績へ到達しました。

ベースモデルについてDeepSeek社が公表しているCyberGymスコアは76.7%であり（同社ハーネスによる測定値のため当社の測定条件とは異なります）、特化学習が脆弱性再現能力の向上に大きく寄与したことを示しています。外部APIに依存しないため、コードを社外に持ち出せない環境やオンプレミス運用にもそのまま適用できます。

CyberGymについて

CyberGymは、カリフォルニア大学バークレー校の研究チームが開発した、AIのサイバーセキュリティ解析能力を正確に測定する大規模評価フレームワークです。Googleの「OSS-Fuzz」で特定された実在の脆弱性データを基に構築されており、数千ファイル規模のコード解析から概念実証の自動生成まで、AIの実効性を厳格に検証します。先端AI研究の国際会議「ICLR 2026」にも採択され、主要AIベンダーの実証指標として広く活用されています。

[参考]公式リーダーボードの現状（Model-focused部門・2026年9月10日時点）

※上記はいずれも各チームによる提出値です。CyberGym公式が注記するとおり、エージェントの実行結果は確率的であり、上位システムの性能が拮抗する中ではわずかなスコア差が実質的な能力差を示すとは限りません。当社は本結果を、絶対的な優劣ではなく「軽量なオープンウェイトモデルと特化学習の組み合わせで、フロンティアモデル水準の脆弱性再現能力に到達しうること」の実証として位置づけています。