Acompany、NECの生成AI「cotomi」をConfidential Computing環境で動作させる技術実証に成功

経済安全保障の観点からも、国産LLMのConfidential Computing環境運用が実用水準であることを確認

株式会社Acompany（アカンパニー、愛知県名古屋市、代表取締役CEO 高橋亮祐、以下Acompany）は、NECが開発する生成AI「cotomi(コトミ) ※1」を、Confidential Computing ※2（以下 CC）を有効にした計算環境上で推論実行する技術実証に成功し、あわせて性能（ベンチマーク）測定を実施いたしました。

本実証では、AMD SEV-SNPによるCPUのTEE（Trusted Execution Environment：信頼された実行環境）と、NVIDIA Confidential Computing（NCC）によるGPUのTEEを同時に有効化した状態でcotomiの推論を動作させ、CC機能の有無による性能差を計測しました。その結果、CCの適用による速度への影響は最大でも約10%程度にとどまることを確認しました。これは生成AIの実用において十分に許容できる水準であり、機密性を担保したまま生成AIを運用することが現実的な選択肢となることを示すものです。

※1「cotomi(コトミ)」は生成AIを含むNEC開発のAIコア技術の名称です。
https://jpn.nec.com/LLM/cotomi.html

※2 Confidential Computing（CC）：CPUやGPUのハードウェアレベルのTEE内でデータと処理を隔離・暗号化し、OS・特権管理者・クラウド事業者からも処理内容を保護する技術。

背景

NECが開発するcotomiは、高い日本語性能を持ち、金融・製造・公共など、高度な専門業務への活用による業務の高度化に貢献しています。
こうした領域の顧客からは「プロンプトや機密ファイルをクラウド事業者にも見せたくない」「自社でファインチューニングしたモデルを安全に運用したい」という要望が強く、CCとの組み合わせによる実用性の検証が急務となっていました。
その有力な解として注目されているのがCCです。AppleはApple IntelligenceにおいてCCを活用してプロンプトを保護し※3、GoogleもGoogle Distributed Cloud（GDC）上でGeminiモデル自体（モデル内のコード・重み）を不正アクセスや改ざんから保護する ※4 など、AI処理とCCを組み合わせてプロンプト・データ・AIモデルを守る取り組みは世界的な潮流となりつつあります。 一方で、CCを有効化した際の性能影響を懸念する声も根強く、実モデルを用いた定量的な検証が求められていました。そこでAcompanyとNECは共同で、実際のモデルであるcotomi を用いたCC環境での動作検証と定量的なパフォーマンス評価を実施することとしました。

※3 Apple “Private Cloud Compute: A new frontier for AI privacy in the cloud”
https://security.apple.com/blog/private-cloud-compute/

※4 NVDIA “NVIDIA Brings Agentic AI Reasoning to Enterprises With Google Cloud”
https://blogs.nvidia.com/blog/google-cloud-next-agentic-ai-reasoning/

本実証の概要

本実証における両社の役割は以下のとおりです。

• Acompany：Confidential Computing技術、およびCC上でのLLM推論環境の提供・検証

• NEC：生成AIモデル「cotomi」の提供 

具体的には、AMD SEV-SNP（CPU側TEE）とNVIDIA Confidential Computing（GPU側TEE）の双方を有効化したCVM（Confidential Virtual Machine）上でcotomiを動作させ、CC無効時との比較で推論性能（スループット・レイテンシ）を測定しました。

検証結果

• CC機能を有効化した状態で、cotomiの推論が問題なく動作することを確認しました。

• CCの有無による速度への影響は、最大でも約10%程度の速度低下にとどまりました。

• この結果は、NVIDIAが公式に公表しているCC環境でのLLM推論性能データとも整合しており、特異な性能劣化のない順当な結果でした ※5

※5 NVIDIA “Confidential Compute on NVIDIA Hopper H100”
https://images.nvidia.com/aem-dam/en-zz/Solutions/data-center/HCC-Whitepaper-v1.0.pdf

本実証の意義と今後の展望

今回の結果は、生成AIの用途においてCCによる性能影響が実用上十分に許容できる範囲にあることを、実モデルで定量的に示したものです。
これにより、医療・金融・製造など機密なデータを日常的に扱う業務での生成AI活用、ファインチューニング済みモデルや商用モデルの知的財産保護、そしてAIモデルを顧客のオンプレミス環境へ安全に提供するユースケースなど、これまでセキュリティ要件から生成AIの導入が難しかった領域においても、CCを前提とした安心・安全なAI活用が現実的な選択肢となります。
さらに、日本語性能に優れた国産LLMであるcotomiをCC環境で運用することは、データの処理・保管を国内に閉じたまま高度なAI活用を実現するという観点からも、重要な意味を持ちます。
Acompanyは、今回の成果を「秘密を守れるAI」というコンセプトの実現に向けた重要な一歩と位置づけ、NECをはじめとするパートナーと連携しながら、プロンプト・データ・AIモデルのすべてを保護できる安全なAI活用基盤の社会実装を引き続き推進してまいります。

本実証に関するコメント

日本電気株式会社　AIプラットフォームサービス統括部長 吉川 彰一
NECは、公共・金融・製造など高度なガバナンスが求められる領域でのAX(AIトランスフォーメーション)を推進しています。今回、Acompanyさまとの取り組みにより、Confidential Computing環境下でも実用に耐えうる性能が確認できたことは、こうした領域におけるお客さまのAXを推進する後押しともなる成果です。今後もNECは、国産AIの強みも活かしながら、安全性と利便性を両立するAI基盤の実現に取り組んでまいります。   

株式会社Acompany　 取締役 CRDO 近藤 岳晴 
生成AIをConfidential Computing上で動かすと「どの程度、速度や精度に影響が出るのか 」は、これまで現場で最も多くいただいてきた問いの一つでした。今回、NEC様の「cotomi」という実モデルを用い、CPU・GPU双方のTEEを有効化した状態でも性能影響が最大約10%程度にとどまることを定量的に示せたことは、大きな前進だと考えています。この水準であれば、機密なデータや大切に育てたモデルを守りながら生成AIを使うという選択が十分に現実的になります。Acompanyが掲げる「秘密を守れるAI」の実現に向け、引き続きパートナーの皆さまと安全なAI活用基盤づくりを進めてまいります。

Acompanyについて

社名　　：株式会社Acompany
代表者　：代表取締役CEO 高橋亮祐
所在地　：愛知県名古屋市中区栄二丁目１番１号 日土地名古屋ビル7階
設立　　：2018年6月
URL　　：https://www.acompany.tech/
事業内容：秘密計算に関連した製品・技術と、機密データ活用に関するコンサルティングサービスの提供

 本件に対するお問い合わせ

本件に関するご質問、ご相談などはお気軽に下記からお問い合わせください。
https://www.acompany.tech/contact/