生成AIアプリケーションの業務利用を、組織として安全に見守る。ファイアウォール・モニタリング製品「Citadel Radar」提供開始
プロンプトとレスポンスの業務適切性・リスク・品質を継続的に評価し、組織横断のAIガバナンスを実運用に落とし込む
株式会社Citadel AI（代表取締役：小林裕宜）は、生成AIを用いたアプリケーションの入力・出力を評価し、リスクの検知・制御・モニタリングを行う「Citadel Radar（シタデル・レーダー）」の提供を開始します。
生成AIの活用が企業内で広がる中、従来のITシステム監視のように、エラー率、可用性、障害状況といった技術的な健全性を確認するだけでは、生成AIアプリケーションを安全に運用することはできません。生成AIアプリケーションでは、アプリケーションとユーザーのやり取りそのものが、業務上適切か、リスクを含んでいないか、期待される価値を発揮しているかを継続的に確認する必要があります。
Citadel Radar は、こうした生成AIアプリケーション特有のモニタリング課題に対応し、組織横断のAIガバナンスを実運用に落とし込むためのファイアウォール・モニタリング製品です。プロンプトやレスポンスを評価メトリクスに基づいて判定し、問題のある入出力の検知、ブロック、フラグ付け、アラート通知、分析を一元的に実現します。
生成AIアプリケーションのモニタリングは、非技術者を含む組織全体の課題へ
従来のITシステムモニタリングは、主にソフトウェアエンジニアなどの技術者が、システムが正常に稼働しているかを確認するためのものでした。一方、生成AIアプリケーションのモニタリングでは、技術的な稼働状況に加えて、ユーザーとのやり取りが業務上適切か、リスクを含んでいないか、品質上の問題がないかを確認する必要があります。
そのため、生成AIアプリケーションの運用には、開発部門だけでなく、事業部門、業務部門、リスク管理部門、コンプライアンス部門など、非技術者を含む複数の関係者が関与します。
Citadel Radar は、こうした分散した関係者が、アプリケーションごとのリスク状況や検知傾向を共通の画面で確認し、組織として生成AIアプリケーションの利用状況を継続的に把握できる仕組みを提供します。部門や役割ごとにバラツキがちなリスク判断を、共通の評価メトリクスと運用ログとして蓄積することで、生成AIアプリケーション運用に関する組織内の共通言語づくりと、知見の継続的な活用を支援します。
ガイドラインに沿った評価観点で、リスクを継続的に検知
Citadel Radar には、AIセーフティガイドラインや各種フレームワークを参照して設計されたビルトインメトリクスが搭載されています。これにより、企業は独自に評価基準を一から整備しなくても、一般的なAIリスク観点に基づいたモニタリングを開始できます。
たとえば、機密情報や個人情報の開示、不適切・危険な指示、偏見や差別につながる表現など、生成AIアプリケーションで継続的に確認すべきリスクを、入力・出力の双方から評価できます。
また、自社固有の業務ルール、社内規程、業界ガイドライン、コンプライアンス要件に合わせて、カスタムメトリクスを作成することも可能です。評価基準は自然文で定義できるため、技術者だけでなく、業務やリスク管理に関わる担当者の知見を反映した評価設計を支援します。
入出力の評価・制御・可視化により、組織的な改善サイクルを支援
Citadel Radar は、生成AIアプリケーションから送信される入力ログ・出力ログをAPI経由で受け取り、評価メトリクスに基づいて判定します。高速かつ日本語の業務文脈にも対応した評価により、実際の業務利用の中で発生するリスクをリアルタイムに検知・制御できます。
判定結果に応じて、問題のある入力や出力をブロックする Block、またはユーザーに影響を与えずに事後確認対象として記録する Flag を選択できます。これにより、厳格に止めるべきリスクと、まずは監視・分析すべきリスクを、アプリケーションの用途や組織の運用ポリシーに応じて柔軟に使い分けることができます。
Citadel Radar のトラフィックページでは、アプリケーションの入力ログ・出力ログ、評価結果、検知された評価カテゴリ、Block / Flag の状態を一覧で確認できます。個別ログの詳細では、評価メトリクスごとの判定結果やメタデータを確認でき、AIによる解説機能により、どの部分が問題と判定されたのかを把握できます。
また、閾値に応じたアラートメール通知により、一定期間内に検知件数が増加した場合や、重要なリスクが発生した場合に、関係者へ迅速に通知できます。
さらに、運用中に蓄積された検知結果やリスク傾向は、既存の生成AIアプリケーション評価・テストツールである Citadel Lens と連携することで、本番運用前の事前評価と本番運用後のモニタリングをつなぐ継続的な改善サイクルに活用できます。
【Citadel Radar の主な機能】
-
生成AIを用いたアプリケーションの入力ログ・出力ログをAPI経由で評価
-
プロンプトとレスポンスの業務適切性・リスク・品質を継続的にモニタリング
-
AIセーフティガイドラインや各種フレームワークを参照したビルトインメトリクス
-
自社ルール、業界ガイドライン、コンプライアンス要件に応じたカスタムメトリクス作成
-
日本語の業務文脈にも対応したリアルタイム評価
-
評価結果に応じた Block / Flag による柔軟な制御
-
複数メトリクスと運用パラメータをまとめる評価パッケージ
-
メトリクスの評価精度を確認できるプレイグラウンド
-
トラフィックページによる個別ログ・判定理由・メタデータの確認
-
アナリティクスによる検知傾向、Block / Flag 件数、リスク分布の可視化
-
Citadel Lens との連携による評価・テストと運用モニタリングの継続的改善
-
閾値に応じたアラートメール通知
-
アプリケーション単位のAPIキー管理
-
ロール権限・リソース権限による組織的な運用管理
【株式会社Citadel AIについて】
Citadel AIは「信頼できるAI」の社会実装を実現する、日本発のグローバルスタートアップです。
Google米国本社出身のエンジニアをはじめとするインターナショナルなチームが開発をリード。導入段階のリスク評価から、運用段階のガードレールまで、生成AIのライフサイクル全体をサポートする独自のAIガバナンスツールを提供しています。国際標準業界を代表するBSI等にも採用され、国内外の市場で高い評価をいただいています。
会社名 ：株式会社Citadel AI
所在地 ：東京都文京区向丘 2-3-10 東大前HiRAKU GATE 3-1
代表者 ：代表取締役 小林 裕宜
会社設立 ：2020年12月10日
企業URL ：https://citadel-ai.com/ja/
X(Twitter) ：https://twitter.com/CitadelAI
お問合せ ：info@citadel-ai.com
すべての画像
