世界初、脆弱性や新たな脅威への事前対策を支援するマルチAIエージェントセキュリティ技術を開発

攻撃や防御に関するスキルやナレッジを持つセキュリティ特化型AIエージェントが連携

富士通株式会社

2024年12月12日 15時00分

当社は、このほど、AIサービス「Fujitsu Kozuchi」のコア技術として、攻撃や防御などのセキュリティに特化したスキルやナレッジを持つ複数のAIエージェントを連携させることで、企業や公共団体のITシステムにおいて、脆弱性を悪用する攻撃や生成AIへの攻撃といった新たな脅威へのプロアクティブなセキュリティ対策を支援するマルチAIエージェントセキュリティ技術を開発しました。

本技術は、組織や拠点をまたぐ複数のAIエージェントを透過的（注1）に連携できるマルチAIエージェント連携技術、プロアクティブなセキュリティ対策に必要なAIエージェントを実現するセキュリティAIエージェント技術、生成AIのセキュリティ耐性について自動で網羅性高く確認を行い、攻撃を自動的に防御・緩和する生成AIセキュリティ強化技術の3つの技術で構成されています。
当社は、まず、生成AIセキュリティ強化技術に関して、Cohere Inc.とのパートナーシップを通じて、2024年12月より技術実証を開始します。さらに、マルチAIエージェント連携技術の一部をオープンソースのAIエージェント基盤である「OpenHands（注2）」から2025年1月に公開し、その後、2025年3月より、セキュリティAIエージェント技術、生成AIセキュリティ強化技術を含むマルチAIエージェントセキュリティ技術のトライアル提供を開始します。

マルチAIエージェントセキュリティ技術により、セキュリティの専門家ではないITシステム管理者や運用担当者が、プロアクティブなセキュリティ対策を実現するアプリケーションを構築できるようになり、今後、急速な普及が見込まれる生成AIの企業ITシステムでの活用においても、生成AIの効果を享受しながら、安心・安全にITシステム運用を行うことが可能になります。

今後も、当社は本技術により、世界の繁栄と安定が両立する、信頼性のあるデジタル社会を共に創るという、当社のマテリアリティの1つである「デジタル社会の発展」に貢献する価値をお客様や社会に提供します。

背景

近年、毎年2万件を超える膨大な数のITシステムの脆弱性が公開されており、企業のセキュリティ対応工数は急激に増加しています。また、AIを悪用した攻撃や企業内のAIシステムを狙った攻撃など、サイバー攻撃技術の進化は目覚ましく、企業の対応が追い付いていない状況です。さらに、生成AIの急速な普及に伴い、悪意のあるプロンプト（注3）を入力することでLLM（大規模言語モデル）に意図しない動作をさせたり、機密情報を漏洩させたりする「プロンプトインジェクション」と呼ばれる攻撃など、LLMやRAG（注4）を用いた企業内のアプリケーションへの攻撃が新たな脅威となっています。このような膨大な脆弱性や新たな脅威への対策には、セキュリティ運用においてプロアクティブに防御する仕組みが不可欠ですが、従来では、セキュリティ専門家やITシステム管理者が、数十日から数ヵ月かけて念入りに脆弱性への対策・対処の計画を立案し、攻撃や防御における検証を行うため、日々増加する脆弱性や巧妙化する攻撃への対応が遅れてしまうことが課題となっていました。

マルチAIエージェントセキュリティ技術を構成する3つの技術

1. マルチAIエージェント連携技術

組織や拠点ごとに開発されたAIエージェントを、透過的に協働させるマルチAIエージェント連携技術を開発しました。本技術は、セキュリティ用途だけでなく汎用的に利用可能です。AIエージェント同士を協働させる場合、組織や拠点のポリシーを遵守した上でのデータ秘匿やプライバシー保護が課題となります。これらの課題を解決するため、協働におけるポリシーを自律的に制御して接続するセキュアエージェントゲートウェイを組織や拠点ごとのAIエージェント基盤に導入することで、AIエージェント開発者が意識することなく、AIエージェントを連携させることが可能になりました。

2. セキュリティAIエージェント技術

プロアクティブなセキュリティ対策に必要な基本的なセキュリティAIエージェントとして、以下の３つのAIエージェントを開発しました。サイバーセキュリティの研究領域で世界トップレベルのBen-Gurion University of the Negev（以下、ベングリオン大学）と共同開発した技術を、それぞれのAIエージェントに搭載しています。

攻撃AIエージェント：新たな脆弱性を有する対象ITシステムを侵害しうる攻撃シナリオを作成する技術「TTP（Tactics, Techniques, and Procedures）類推エンジン」を搭載
防御AIエージェント：企業のリスクプロファイル（注5）に基づいた防御策を提案する技術を搭載
テストAIエージェント：本番環境システムから検証用仮想環境「サイバーツイン」を自動構築し防御策の影響を分析する技術を搭載

これらのAIエージェントを、マルチAIエージェント連携技術で連携させることで、テストAIエージェントに構築された「サイバーツイン」上で攻撃AIエージェントと防御AIエージェントによる攻撃・防御シミュレーションが交互に行われ、新たな脆弱性へのプロアクティブな対策を行います。これにより、企業や公共団体は新たな脆弱性を悪用する攻撃に対し、より効果的な防御策を講じることができるようになります。このように、異なるスキルを持つAIエージェント間の共創的、敵対的学習で、複雑で未知な問題に対処する「共創学習」が当社のAIエージェントの特長です。

動画：マルチAIエージェントセキュリティ技術

3. 生成AIセキュリティ強化技術

急速に普及する生成AIへの新しい攻撃に備えるため、セキュリティ耐性について自動で網羅性高く確認を行うLLM脆弱性スキャナーと、攻撃を自動的に防御・緩和できるLLMガードレールを、ベングリオン大学と共同開発しました。

LLM脆弱性スキャナーは、生成AIに存在しうることが知られている様々な脆弱性について、業界トップクラスの3,500以上の最新の脆弱性に対応しています。LLM脆弱性スキャナーには、生成コード脆弱性チェック機能（注6）や、LLMの応答にあわせて最適な攻撃プロンプトを選択し高精度な攻撃・評価を実現するアダプティブ・プロンプト技術、生成AIを活用した脆弱性説明技術が含まれており、セキュリティ専門家でなくとも容易に脆弱性評価を行うことができます。
LLMガードレールは、LLM脆弱性スキャナーと連携し、脆弱性と判定されて対処が必要な攻撃的なプロンプトをITシステム運用中に検知し拒絶する機能であるガード規則を自動的に適用して不適切な回答を防ぐことで、生成AIの安心・安全な運用を実現します。
LLM脆弱性スキャナーとLLMガードレールは、それぞれ攻撃AIエージェント、防御AIエージェントと連携して動作することで、生成AI活用システムへのプロアクティブなセキュリティ対策を実現します。

動画：生成AIセキュリティ強化技術

Carnegie Mellon University 准教授グラム・ニュービッグ氏のコメント

世界中でAIエージェントの開発が急速に進んでいます。カーネギーメロン大学が中心となって取り組んでいる「OpenHands」は、外部の様々な知見を取り込むことによって、多様なAIエージェントのサービス・機能・技術を開発することが可能です。富士通が開発するマルチAIエージェント連携技術と「OpenHands」を組み合わせることによって、組織間をまたいだマルチAIエージェントアプリケーションの開発の加速に貢献できれば、素晴らしいことと思います。

Ben-Gurion University of the Negev 教授ユーヴァル・エロヴィッチ氏のコメント

富士通の革新的な「サイバーツイン」技術は、リスクのない仮想環境で新たな攻撃シナリオや防御策をシミュレーションしながら、企業がセキュリティポリシーの遵守を検証することを可能にします。実際のITシステムに影響を与えることなく事業継続性の厳格なテストを可能にすることで、この技術は、企業が新たな脆弱性に迅速に対応し、プロアクティブで適応性の高いセキュリティ戦略を導入するための強力なツールとなります。

Cohere Inc. Head of Safety セラフィナ・ゴールドファーブ・タラント氏のコメント

セキュアなITシステムは、企業がAI開発を採用し、その恩恵を受けるために必要不可欠なものです。富士通との継続的な取り組みにより、日本企業が当社の最先端の多言語モデルや富士通の生成AIセキュリティ強化技術でAIを活用できるようになることを非常に楽しみにしています。

今後について

当社は、今後、さらに様々なセキュリティ業務を自動化するアプリケーションを構築できるよう、セキュア設計、インシデント対応、セキュリティ監査などのセキュリティAIエージェントを拡充していく予定です。また、生成AIセキュリティ強化技術については、対応領域をRAGアプリケーションに特有の脆弱性や幻覚（ハルシネーション）対策にも広げるなど、生成AIのさらなる安心・安全な運用を追求していきます。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

注釈

注1

透過的：
拠点や組織をまたぐ連携において、それぞれの環境の差異を意識することなく情報やメッセージのやり取りができる状態。

注2

OpenHands：
AIの研究領域で世界トップレベルのCarnegie Mellon Universityが中心となって開発したAIエージェント基盤の1つ。

注3

プロンプト：
生成AIの振る舞いを規定する背景情報や具体的な要求、制約などの指示。

注4

RAG：
Retrieval Augmented Generation。生成AIの能力を外部データソースと組み合わせて拡張する技術。

注5

リスクプロファイル：
テストAIエージェントが、サイバーセキュリティ上の脅威を特定し、それらがシステムへもたらす影響を評価した結果の情報。

注6

生成コード脆弱性チェック機能：
生成AIが生成するソースコードが脆弱性につながる可能性の有無をチェックする機能。

当社のSDGsへの貢献について

2015年に国連で採択された持続可能な開発目標（Sustainable Development Goals：SDGs）は、世界全体が2030年までに達成すべき共通の目標です。当社のパーパス（存在意義）である「イノベーションによって社会に信頼をもたらし、世界をより持続可能にしていくこと」は、SDGsへの貢献を約束するものです。