NVIDIA、推論のブレイクスルーによりクラウドからエッジに至るまでの対話型 AI をよりスマートでインタラクティブに

TensorRT 8 が、ヘルスケア、オートモーティブ、金融業界の大手エンタープライズに
世界最速の AI 推論性能をもたらす

2021 年 7 月 20 日、カリフォルニア州サンタクララ —— NVIDIA は本日、TensorRT™ 8 を発表しました。TensorRT 8 は、NVIDIA の第 8 世代となる AI ソフトウェアで、言語クエリの推論時間を半分に短縮することで、開発者が世界で最も高い性能を持つ検索エンジン、広告レコメンデーションおよびチャットボットを作り出し、それをクラウドからエッジに渡り提供することを可能にします。

TensorRT 8 の最適化により、世界で最も普及している Transformer ベースのモデルの 1 つである、BERT-Large で実行された言語アプリケーションが、1.2 ミリ秒というこれまでにはない速度で処理できるようになります。過去には、企業はモデルサイズの縮小を余儀なくされ、その結果、正確性が大幅に低下していました。TensorRT 8 により、企業はモデルサイズを 2 倍または 3 倍に拡大して、正確さを劇的に向上させることが可能になります。

NVIDIA のデベロッパー プログラム担当バイスプレジデントであるグレッグ エステス (Greg Estes) は、次のように述べています。「AI モデルは指数関数的に複雑化しており、AI を使用するリアルタイム アプリケーションへの需要が全世界で急増しています。そのため、エンタープライズでは、最先端の推論ソリューションの導入が不可欠になっています。TensorRT の最新版に導入された新しい機能により、企業は、これまでにない品質と応答性を持つ対話型 AI アプリケーションを顧客に提供できるようになります」

これまでの 5 年間で、ヘルスケアやオートモーティブ、金融および小売りといった多様な分野の 2 万 7,500 の企業に所属する、35 万人以上の開発者が、TensorRT を約 250 万回ダウンロードしています。TensorRT アプリケーションはハイパースケール データセンターや組み込み機器、自動車製品プラットフォームへの展開が可能です。

推論の最新イノベーション
Transformer の最適化に加えて、以下の 2 つの主要な機能を通じて、TensorRT 8 はAI 推論でのブレイクスルーを実現しています。

スパース性は、効率性を高めるための、NVIDIA Ampere アーキテクチャ GPU の新しい性能向上手法です。これにより、開発者は演算処理を削減することで、ニューラル ネットワークを加速させることができます。

また、量子化認識トレーニングにより、開発者は、トレーニング済みモデルを使い、正確さを損なうことなく、INT8 精度で推論を実行できるようになります。これによって、演算とストレージのオーバーヘッドが大幅に削減され、Tensor コアで効率的な推論ができるようになります。

業界からの幅広い支持
業界のリーダー企業は、対話型 AI および他の多様な分野でのディープラーニング推論アプリケーションに TensorRT を活用しています。

Hugging Face は、さまざまな業界の、世界屈指の AI サービス プロバイダーから信頼を寄せられている、オープンソース AI のリーダー企業です。同社は、NVIDIA と密接に連携し、テキスト分析、ニューラルサーチおよび対話型アプリケーションを大規模に実行することができる、画期的な AI サービスを導入しようとしています。

Hugging Face の製品ディレクターであるジェフ ブーディエ (Jeff Boudier) 氏は、次のように話しています。「当社は NVIDIA との密接な連携を通じて、NVIDIA GPU で最先端のモデルを実行するための、最高の性能を提供しています。Hugging Face Accelerated Inference API はすでに、NVIDIA GPU の活用によって、Transformer モデルの処理速度を最大 100 倍に向上させています。TensorRT 8 により、Hugging Face では、BERT での推論レイテンシを 1 ミリ秒に短縮しており、今年の後半には、この性能をお客様に提供できることを楽しみにしています」

医療テクノロジ、診断およびデジタル ソリューションの世界的なイノベーターである GE Healthcare では、TensorRT を使って、疾病の早期発見には欠かせないツールである、超音波のコンピューター ビジョン アプリケーションを加速させています。これにより、臨床医は、インテリジェントなヘルスケア ソリューションを使って、最高品質のケアを提供できるようになります。

GE Healthcare の心臓血管超音波検査担当チーフエンジニアであるエリック ステーン (Erik Steen) 氏は、次のように話しています。「超音波検査では、臨床医は画像の選択と測定に貴重な時間を費やしています。Vivid Patient Care Elevated Release のための R&D プロジェクトでは、私たちは、Vivid E95 スキャナーでの心臓表示検出を自動化することで、より効率的な処理を行おうとしていました。心臓表示認識アルゴリズムは心臓壁運動の分析のための適切な画像を選択します。TensorRT は、そのリアルタイム推論機能により、表示検出アルゴリズムの性能を高め、R&D プロジェクトでの市場投入までの時間も短縮してくれました」

提供予定
TensorRT 8 は、現在入手可能となっており、NVIDIA Developer プログラムhttps://developer.nvidia.com/developer-programのメンバーは無料で入手いただけます。最新バージョンのプラグイン、パーサーおよびサンプルは、TensorRT GitHub リポジトリhttps://github.com/NVIDIA/TensorRTよりオープンソースとしてもご利用いただけます。