AIセキュリティのCoWorker、ブラックボックス侵入テストで“熟練ペンテスター級”を超える成功率を達成

公開ベンチマークを用いた社内検証で89.1%の成功率を確認。再現性のある指標でAI脆弱性診断の実力を測定

CoWorker株式会社

2026年1月16日 18時00分

AIセキュリティソリューションを開発・提供するCoWorker株式会社（本社：東京都新宿区、代表取締役：山里一輝、以下「当社」もしくは「CoWorker」）は、自社開発の自律型AI脆弱性診断・ペネトレーションテスト「RedAgent」が、実世界に近い社内検証においてAIによる自動脆弱性診断が“熟練ペンテスター”に匹敵する段階に到達したことをお知らせいたします。今回実施した社内検証は、公開されている実世界に近いWeb脆弱性ベンチマーク（XBOW Validation Benchmarks）を参照し、ブラックボックス条件で89.1 %の成功率を確認しました。

外部ベンチマークでは、トップレベルのプロペンテスター（経験20年以上の主査）が同ベンチマークの85 %を解いたのに対し、当社の結果はこれらを上回る水準です。

＜参考＞ペンテスター（ペネトレーションテスター）とは：

システムの脆弱性を発見し、悪意ある第三者による実際の攻撃を想定して侵入を試みる、セキュリティ専門家。ホワイトハッカーとも呼ばれ、攻撃者の視点でネットワークやWebアプリケーションなどを評価し、その結果を報告して企業がセキュリティを強化する手助けをします。実際の攻撃を想定した「ペネトレーションテスト（侵入テスト）」を実施し、セキュリティレベルの向上に貢献します。

検証のポイント

実環境に近い104個のWeb脆弱性課題を含む公開ベンチマークで検証
実環境に近い104個のWeb脆弱性課題を含む「XBOW Validation Benchmarks」を参照し、ブラックボックス条件（詳細なソースコードや内部構造の情報を与えず、外部からの挙動のみで探索・攻撃を試行）で評価を実施しました。
最も熟練したペンテスターを上回るRedAgent（Web診断モード）で89.1 %の成功率
Black‐box条件でCTF形式の課題に挑戦した結果、フラグ取得率89.1 %を達成。これは公開実験で最も熟練したペンテスターと同等の85 %を上回ります。
客観的な成功判定
課題はフラグを取得すると自動的に成功が判定される仕組みで、結果の再現性が高いです。
比較の注意点
一部の自律型ペンテストツールはソースコードや内部情報を前提に解析する「ホワイトボックス」条件で高い成功率を公表しています。ブラックボックス条件での結果と単純比較はできないため、試験条件の一致が重要です。
製品提供にかぎらず、AI診断導入支援や従来型の脆弱性診断サービスも提供
当社は、今回検証対象となった「Red Agent」などのソリューション提供に限らず、段階的な導入設計に対応し、第三者として診断や検証を行うサービスも展開します。

検証の背景

急速に高度化するサイバー攻撃とAIを活用した防御体制の強化が必須に

近年のサイバー攻撃は高度化・巧妙化し、サプライチェーンやランサムウェア攻撃が増加する中、検知・分析・初動までのスピードが求められています。侵入から拡散までの時間は「数日・数時間」から「数十秒・数分」へと劇的に短縮されています。攻撃者はAIや自動化ツールを駆使し、データの流出を人間の100倍のスピードで実行できると指摘されており、防御側もAIレベルの速度で検知・対処することが求められています。

こうした背景から、多くの国・企業が防御態勢の強化を急いでいます。しかしながら、攻撃側の速度や自動化に防御側が追従できていない現状があり、従来型のセキュリティ監視やルールベースの診断では検出が間に合わないケースが増えています。このため、AIを活用した自動ペネトレーションテストの導入と、再現性のある評価指標による性能測定が急務となっています。当社が実施したブラックボックス条件での社内検証は、こうしたサイバー攻撃の現状を踏まえ、AI脆弱性診断ツールの実戦的な有効性を示すことを目的としています。

AI × セキュリティは“主張”よりも“測定”が求められている

生成AIを活用したセキュリティ製品は急速に増えていますが、現場の技術者からは「検出できると言っているだけ」「結局はルールベース」「誤検知が多く運用に乗らない」といった声が上がり、製品の効果が分かりにくいことが課題となっています。また、攻撃側（オフェンシブ）の領域では、最終的に“本当に侵入できるか/悪用できるか”が重要であり、説明可能性よりも成功判定が明確なベンチマークが求められます。

評価方法

再現性のあるベンチマークで“成功”を測る

当社が参照したXBOW Validation Benchmarksは、「フラグ」と呼ばれる文字列が埋め込まれており、攻撃に成功するとその文字列を取得できます。取得できれば成功、できなければ失敗という単純明快な評価軸であるため、AIシステム間や人間ペンテスターとの比較が容易です。

当社の検証では、「Red Agent」のWeb診断機能のみを用い、対象のソースコードや内部実装情報を一切参照しないブラックボックス条件でベンチマークに挑戦しました。複数の試行により、フラグ取得率の平均が89.1 %となったことを確認しました。なお、本検証は当社内の検証であり第三者認証ではありません。

＜参考＞ペンテストにおける“ブラックボックス”と“ホワイトボックス”の違い

ペネトレーションテスト（侵入テスト）は対象システムへの理解度により大きく3種類に分類されます。公開情報だけで攻撃するブラックボックス、内部構造の一部を知ったグレイボックス、そしてソースコードや設定情報をすべて共有してもらうホワイトボックスです。ブラックボックスはもっとも現実の攻撃者に近い条件で、防御側が気付いていない脆弱性をあぶり出せる一方、ホワイトボックスは内部構造をもとに隠れた脆弱性まで洗い出せる代わりに現実の攻撃シナリオとは異なる場合があります。このため、ブラックボックス条件とホワイトボックス条件の結果を比較する際は同じ条件であるかを確認する必要があります。

近年、一部の自律型AIペンテストツールや研究が、ソースコードを前提に攻撃手順を生成するホワイトボックス条件で高い成功率を公表するケースもあります。しかし実務での受託診断や第三者評価では、外部からの攻撃者と同じように情報が制限されたブラックボックス条件が一般的です。

検証結果・考察

89.1 %の成功率が示すもの

公開されているXBOWの比較実験によると、5人のプロペンテスター（ジュニアから20年以上の経験を持つベテランまで）が同ベンチマークを実施した結果、最も熟練したペンテスターの成功率は85 %、スタッフレベルのペンテスターは59 %でした。当社の「Red Agent」（Web診断のみ）の89.1 %という結果は、この公開水準を上回り、AIを用いた自動脆弱性診断が熟練ペンテスターの域に達しつつあることを示唆します。

ただし、数値の単純比較には注意が必要です。ブラックボックス条件では、ソースコードや設計情報を持たない状態で脆弱性を突き止める必要があり、難易度が高く成功率は低くなりがちです。一方、ホワイトボックス条件でのペンテストでは、内部情報をもとに攻撃戦略を立てられるため成功率が高くなる傾向があります。当社は実運用に近いブラックボックス条件で評価しています。

「Red Agent」（AI脆弱性診断）について

脆弱性診断・ペネトレーションテストを自動実行し、診断工数を大幅に削減

「Red Agent」は、脆弱性診断やペネトレーションテストを自律化し、攻撃の前にリスクを排除するAIセキュリティサービスです。従来は属人的だった診断業務を、弊社独自のAIエージェントが標準化・高速化することで、網羅的なリスク把握と迅速な対策を実現します。診断は従来比で最大1/10の時間で完了し、オンプレミス環境にも対応。結果は丁寧かつ分かりやすいレポートとして提示され、実務での活用を強力に支援します。

詳細を見る

当社は「Red Agent」の提供に加え、従来型の脆弱性診断・ペネトレーションテスト（人手による検証を含む）も提供しています。「まずは第三者として現状を診断してほしい」「AIを導入する妥当性を検証したい」「継続的なセキュリティテストに移行したい」といったニーズに対し、段階的な導入設計が可能です。

代表コメント

CoWorker株式会社　代表取締役　山里一輝

「近年のサイバー攻撃は高度化・高速化が著しく、従来の防御体制では追いつかない状況が続いています。今回の社内検証で『Red Agent』が熟練ペンテスターを上回る成果を示したことは、AIを活用した自律型セキュリティの有効性を証明する重要な一歩であり、多くの企業や社会インフラに役立つと確信しています。今後も技術の磨き込みと透明性の高い評価を続け、安心・安全なデジタル社会の実現に貢献してまいります。」