NVIDIA、データ サイエンティストおよび AI、HPC 研究者のデータのボトルネックを解消する Magnum IO ソフトウェア スイートを発表

新技術により、大規模なデータをこれまでより最大 20 倍速く処理

2019 年 11 月 18 日、デンバー — SC19 — NVIDIA は本日、データ サイエンティストや AI およびハイ パフォーマンス コンピューティングの研究者が膨大な量のデータを数時間ではなく、数分で処理できるようにするソフトウェアのスイート、NVIDIA Magnum IOを発表しました。

ストレージおよび入出力のボトルネックを解消するために最適化された、Magnum IO により、複雑な財務分析や気候モデリング、その他の HPC ワークロードの実行など、大規模のデータセットに対処する際、複数のサーバー、複数の GPU コンピューティング ノードでのデータ処理を最大で 20 倍速くします。

NVIDIA は、DataDirect Networks や Excelero、IBM、Mellanox、WekaIO といったネットワークおよびストレージの業界のリーダー企業と緊密に連携して、Magnum IO を開発してきました。

NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) は、次のように述べています。
「収集またはシミュレーションされた大量のデータの処理は、AI のようなデータ主導型サイエンスの要です。データの規模と速度が指数関数的な成長を続けているなか、そのようなデータの処理が、データセンターの最大の課題と費用の 1 つとなっています。

桁外れの演算では、桁外れの I/O が必要となります。Magnum IO は、コンピューティングに革命をもたらした、NVIDIA の GPU アクセラレーションを I/O およびストレージにもたらすことで、これを可能にします。今、AI の研究者とデータ サイエンティストは、データ処理を待つ必要がなくなり、自身のライフワークに集中することができるようになりました」

Magnum IO の中核をなすのが GPUDirect で、CPU をバイパスして、GPU、ストレージおよびネットワーク デバイスによって提供される「オープン ハイウェイ」上をデータが移動する経路を提供します。GPUDirect は、NVIDIA NVLink™ および NCCL、ならびに OpenMPI や UCX といった、多様な通信インターコネクトと API との互換性があり、ピアーツーピアと RDMA の要素から構成されています。

その最新の要素は GPUDirect Storage で、研究者がストレージを利用するときに CPU をバイパスし、シミュレーション、分析またはビジュアライゼーションのためにデータ ファイルにすばやくアクセスできるようになります。

NVIDIA Magnum IO ソフトウェアは現在、GPUDirect Storage 以外が公開中で、GPUDirect Storage は、一部のアーリー アクセスのお客様だけに提供されています。GPUDirect Storage のより広範なリリースは、2020 年前半を予定しています。

 エコシステムからの支持
「現代の HPC と AI の研究者は、信じられない量のデータを駆使しており、その量が 1 PB を超えることもよくあるため、その課題に最もうまく対処できる、新しいレベルの最先端テクノロジが求められています。NVIDIA の Magnum IO ソフトウェア スイートを当社の EXA5 対応パラレル ストレージ アーキテクチャと組み合わせて活用することにより、DDN は、ペタバイト規模のデータ ストアから高帯域幅で GPU に直接アクセスできる、新しい、直接的なデータパスを切り開いています。これは、これまでには不可能なアプローチでした」
— DDN 社最高研究責任者、スヴェン オーメ (Sven Oehme) 氏

「HPCおよび AI の最先端の研究者が利用しなければならないデータの量は飛躍的に増大しつづけており、I/O は多くの人々にとって管理するのが困難な課題となっています。IBM Spectrum Scale は、AI を加速し、データ集約型のワークロードを実行することを求めている組織の要望に対処するためのものです。IBM Spectrum Scale と NVIDIA の GPU アクセラレーションを使用することにより、お客様は I/O のボトルネックを緩和し、データから必要な洞察をより素早く得ることができます」
— IBM 社ストレージ製品管理担当バイスプレジデント、サム ワーナー (Sam Werner) 氏

「HPCおよび AI の最先端の研究者は最先端のテクノロジを提供する Mellanox を選んで、膨大な量のデータをできる限り効率的かつ迅速に移動および処理しようとしています。私たちは NVIDIA とともに、Magnum IO が Mellanox の最先端の InfiniBand およびイーサネット インターコネクト ソリューションとシームレスに連動し、お客様が相互に、一体となってデータのボトルネックに対処し、サイエンス、研究および製品開発といった活動を進められるようにしています」
— Mellanox Technologies 社ソフトウェア アーキテクチャ担当シニア バイスプレジデント、ドロール ゴールデンバーグ (Dror Goldenberg) 氏