【AIガードレール導入事例】オムロン株式会社の「プログラム検索要約サービス」に対し、レッドチーミングによる有効性検証を経て、AIセキュリティ&ガバナンスツール「Athena Firewall」を導入
株式会社Athena Technologies（本社：東京都文京区、代表取締役：阿部 武 以下、「Athena」）は、オムロン株式会社インダストリアルオートメーションビジネスカンパニーが開発・運用する「プログラム検索要約サービス」に対し、レッドチーミング(*1)を実施しました。
その結果、当該アプリケーションの保護における有効性を確認され、Athenaが提供するAIセキュリティ&ガバナンスツール「Athena Firewall」の導入が決定したことをお知らせいたします。
(*1) レッドチーミングとは、実際の攻撃者の視点に立ち、システムに対して意図的に疑似攻撃を仕掛けることで、セキュリティ上の脆弱性を発見・評価する手法です
■ 導入背景・課題
製造業においては人手不足や技能継承の難しさを背景に、設計・保守業務の効率化を目的とした生成AIの活用が急速に広がっています。一方で、生成AIを組み込んだ業務システムには、プロンプトインジェクション(*2)による不正操作や機密情報の漏洩など、従来型のシステムにはないAI特有のセキュリティリスクが存在することも指摘されており、多くの企業が対策の必要性を認識しつつも、具体的に何がリスクとなるのか、どのように検証・対策を進めればよいのかが分からないという課題を抱えています。
オムロン株式会社においても、PLC(*3)のラダープログラム(*4)を理解・検索・要約する「プログラム検索要約サービス」の開発を進めており、サービス提供にあたっては、想定されるリスクを明確にした上でセキュリティ対策を実装する必要がありました。生成AIを業務に活用する上での本格的なセキュリティ対策はこれからという段階にあり、まずは自社システムにどのようなリスクが存在するのかを洗い出すところから取り組む必要がある状況でした。
こうした背景から、Athenaが提供するAIセキュリティ&ガバナンスツール「Athena Firewall」を導入することで、対象システムの利用者に安心して使い続けてもらえる状態を実現できるかを確認するため、今回のPoC検証を実施しました。
(*2) プロンプトインジェクションとは、AIへの入力（プロンプト）に悪意のある指示を紛れ込ませることで、本来意図しない出力や動作をAIに引き起こさせる攻撃手法です。
(*3) PLC（プログラマブルロジックコントローラー）とは、工場の生産ラインなどにおいて、モーターやセンサーといった機器の動作を制御する専用のコントローラーです。
(*4) ラダープログラムとは、PLCの制御内容を記述するためのプログラム言語、およびそのプログラムの総称で、電気回路のリレー接点を模した図形的な表記が特徴です。
■ Athena Firewallとは
Athenaは、プライベートAIの開発に特化するAI企業として、セキュリティ要件の高い環境下におけるAIソリューションの提供に強みを持っています。
「Athena Firewall」は、そうしたプライベートAI環境を構成する要素の一つとして開発してきた、AIセキュリティ&ガバナンスツールです。生成AIを組み込んだシステムに対するプロンプトインジェクションや有害コンテンツの出力、機密情報の漏洩といったAI特有のセキュリティリスクを検知・抑制します。
日本語の表現や文脈を踏まえた評価に特化しており、低レイテンシーでの動作を重視した設計により、既存システムの応答速度に与える影響を抑えながら組み込める点を特徴としています。
https://athenatech.jp/service/athena-firewall
■ 実施内容・検証ポイント
本検証では、主に以下の取り組みを通じてレッドチーミングを実施しました。
リスクシナリオ・攻撃シナリオの設計
対象システムのソースコードや実際の機能をAthenaが調査した上で、どのようなAIセキュリティ上のリスクが考えられるかを洗い出す「リスクシナリオ」の策定から着手しました。策定にあたっては、AISI（AIセーフティ・インスティテュート）のガイドラインに準拠した観点を参照しつつ、「システムへの影響度」と「攻撃の実現可能性」という2つの軸で、発生頻度の低いエッジケースも含めて網羅的に検討する方針を採用しました。これは、可能性として起こりうる事象を幅広く洗い出すことで、見落としのないリスク評価を目指すという設計思想に基づくものです。各リスクシナリオに対しては、具体的にどのような攻撃が想定されるかを「攻撃シナリオ」としてリストアップしました。
疑似攻撃の実施とAthena Firewall適用有無での比較検証
策定した攻撃シナリオに基づき、実際に攻撃プロンプトを作成した上で、対象システムへの疑似攻撃を実施しました。Athena Firewallを適用した場合と適用しない場合とで攻撃の成否を比較することで、同製品の導入によってどの程度セキュリティリスクが低減するかを定量的に確認しました。あわせて、通常の業務利用を想定したプロンプトについても評価を行い、Athena Firewallの適用によって正規の質問や安全な出力までもが過剰にブロックされていないかという、業務有用性の観点からの検証もあわせて実施しました。
チューニング支援
検証の過程で発見された脆弱性については、検知の閾値やポリシーの調整といったチューニングを行い、見逃しの低減を図りました。あわせて定期報告会を実施し、検証の進捗状況を共有しました。
■ 取り組みと結果
レッドチーミングの結果、対象システムにおいては以下の3つの脆弱性カテゴリが確認されました。
|
脆弱性カテゴリ |
実証結果・対応状況 |
|
不適切出力・内部情報漏洩 |
特定の入力手法により、本来想定していない質問にまで回答してしまう、あるいは政治的に偏った内容を含む不適切な回答を生成してしまうケース、およびシステムプロンプトの一部が露出するケースを確認 |
|
入力汚染・使用汚染 |
利用者が検索・要約のために取り込むラダープログラム自体に悪意ある記述やプロンプトインジェクションが仕込まれていた場合、利用者がそれと気づかないまま要約・可視化結果が意図しない形で変化してしまうケースを一部確認（全体的な発生率は限定的） |
|
大量入力への耐性 |
極端に大きな入力データに対して、エラー発生時の情報の取り扱いに改善余地があることを確認 |
このうち、「不適切出力・内部情報漏洩」および「入力汚染・使用汚染」の2つの脆弱性に対して、Athena Firewallのプロンプトインジェクション評価器を適用した結果、高い検知性能を確認しました。通常利用における評価では、正規の業務利用を誤ってブロックしてしまう割合（誤検知率）は1.7%に抑えられており、業務の使い心地への影響は限定的であることを確認しています。また、攻撃プロンプトの見逃し率についても4.7%と低い水準に抑えられており、明確なプロンプトインジェクションについては概ね検出が可能であることが確認されました。一方で、見逃しの一部は利用者の意図的な誘導に依存する高度な手法によるものであり、この類型に対する検出精度のさらなる向上は今後の検討課題として整理しています。
なお、通常利用時のプロンプトに対するAthena Firewallのガードレール評価にかかる処理時間は100ミリ秒以下にとどまっており、日常的な業務利用における体感速度への影響は軽微であることも確認しています。
■ 「使えるAIセキュリティ」を目指した設計思想
生成AIを組み込んだシステムでは、AIが完全に無害な出力のみを行うことを保証するのは技術的に難しく、システムプロンプトによる制御だけに頼らない、独立したセキュリティ機構を別途設けることが重要になります。今回の検証では、Athena Firewallによるプロンプト評価という形で、システムプロンプトの防御に依存しない多層的な対策を追加することを目指しました。
また、セキュリティ対策は導入するだけでなく、現場での使い心地を損なわないことも同様に重要です。今回、誤検知率や処理速度への影響を定量的に確認できたことは、「守るためのAI対策」が「業務を止めない形」で成立し得ることを示す結果になったと考えています。
なお、レッドチーミングという取り組み自体、生成AIを組み込んだ業務システムに対する実施事例はまだ少ないのが実情です。今回のように、リスクの洗い出しから疑似攻撃の実施、対策の効果測定までを一気通貫で行った事例として、同様の課題を抱える他社にとっても参考になれば幸いです。
■ 今後の展望
今回のPoC検証の結果を踏まえ、Athenaはオムロンの「プログラム検索要約サービス」へのAthena Firewallの本番導入を進めることとなりました。生成AIを組み込んだ業務システムに対して、リスクの洗い出しから疑似攻撃、導入判断までを一貫して実施した今回の取り組みは、Athenaにとっても大きな知見となりました。
生成AIの活用が製造業の現場に広がるほど、AI特有のセキュリティリスクへの向き合い方が問われる場面も増えていくと考えられます。Athenaは今回得られた知見をもとに、同様の課題を抱える企業への支援を継続してまいります。
■ 会社概要
【株式会社Athena Technologiesについて】
株式会社Athena Technologiesは、金融・インフラ・官公庁・防衛産業などのセキュリティ要件が高い組織向けにプライベートAI基盤を提供するAIスタートアップです。プライベートAI基盤「Athena Platform」や日本語LLMガードレール「Athena Firewall」により、高セキュリティ環境下で利用可能なAIソリューションを提供します。
社名：株式会社Athena Technologies
設立：2023年12月
代表取締役：阿部 武
所在地：東京都文京区本郷6丁目25番14号 HONGOEGG（東京オフィス）、京都府京都市左京区田中門前町 百万遍ビル3F（京都オフィス）
【本件に関するお問い合わせ】
株式会社Athena Technologies 広報担当
すべての画像
