コンピュータ構成を自在に変更できるリソースプールと大型3Dタイルドディスプレイからなる世界最高水準の大規模可視化システムを導入！

国立大学法人　大阪大学／日本電気株式会社／サイバネットシステム株式会社

==============================================
概要
==============================================

大阪大学サイバーメディアセンターは、吹田キャンパス内、豊中キャンパス内・豊中データステーション、およびうめきた拠点（大阪市北区）に、計算シミュレーションや科学的可視化などの目的で、世界最高水準の大規模可視化システムを導入しました（図1）。
本システムは、大型・高精細・3Dという３つの特徴を備える「大型3Dタイルドディスプレイ」２式（構築：サイバネットシステム株式会社）と、ソフトウェア設定でのハードウェア構成変更を実現する「フレキシブルリソースプールシステム」１式（構築：日本電気株式会社、以下ＮＥＣ）により構成されています。
大阪大学は、「京」を中核として全国の主要なスーパーコンピュータを高速ネットワークでつなぐ「革新的ハイパフォーマンス・コンピューティング・インフラ（HPCI）」に参画しています。「大型3Dタイルドディスプレイ」を用いれば、HPCIでの大規模な計算結果をできるだけ損なうことなく可視化できます。高精細の可視化結果を多人数で同時に共有すれば、研究結果へのより深い洞察が得られ、科学技術の発展に寄与します。また、わかりやすい可視化を通じた、研究成果の市民理解、科学技術の普及啓蒙などに供していきます。一方、「フレキシブルリソースプールシステム」は「大型3Dタイルドディスプレイ」に表示するための大規模計算に利用するほか、リソースの一部をHPCIに提供します。研究目的に合わせて最適なハードウェアを構成できるため、リソース全体を最大限に効率的に利用し、より多くの研究者にサービスを提供することができます。

 

==============================================
本システム導入の背景
==============================================
大阪大学サイバーメディアセンターでは、先端科学研究支援の一環として、高性能計算と可視化に力を入れてきました。2007年には世界初のフルHD 4面のCAVEシステム（没入型立体表示装置）を整備しました。スーパーコンピュータによる計算結果をわかりやすく、高精細に表示することにより、これまでに医療、バイオ、建築、もの作りなどの様々な分野で成果を上げています。しかし、システムの老朽化により、最先端の大規模な計算結果を表示することができなくなりつつありました。また、その間HPCIの整備が進み、我が国の計算資源やストレージがネットワークで結ばれ、シングルサインオンで利用できる環境も整いました。そこで、今回HPCIと連携できる世界最高水準の大規模可視化システムを導入しました。また、サイバーメディアセンターは2013年4月に大阪市内うめきた地区に新たにオープンした産学連携拠点「ナレッジキャピタル」に進出しています。本学キャンパス内に加えて、このうめきた拠点にも大規模可視化システムを整備することにより、「京」を含めたHPCIの産業界へのさらなる普及啓蒙、利用促進を狙っています。

==============================================
大規模可視化システムの特徴
==============================================
大型3Dタイルドディスプレイ
■24面フラット3Dディスプレイ（豊中キャンパス）
会議室のメインスクリーンとしても使える、横6.5m×縦2.4mの大型3Dタイルドディスプレイです。1920×1080（フルHD）の50インチプロジェクションモジュールを24台用いて、水平150度程度の広視野と視覚限界に近い約5000万ピクセルの高精細を同時に満たす、世界最高水準のディスプレイです。大規模計算によって得られた高精細な可視化結果を立体かつインタラクティブに表示し、多人数で同時に眺めることにより、研究結果の理解、新たな知見の創出につなげます。

■15 面シリンドリカル3Dディスプレイ（うめきた拠点）

1366×768（HD）の46インチ液晶モニタを15台用いて、シリンドリカル（円筒形）に配置した横5.1m×縦1.7mの大型3Dタイルドディスプレイです。大阪大学サイバーメディアセンターが、産学連携拠点と位置づけ、HPCIの普及啓蒙、産業界の利用促進を行う予定である、うめきた拠点に導入しました。

■大規模可視化システムのためのソフトウェア
HPCIでの大規模な計算結果を柔軟に表示するため、様々なソフトウェアを導入しています。シミュレーションの可視化で多くの研究者に使われているAVSのデータを、そのままバーチャルリアリティ環境に移行できる、大画面・立体視対応の汎用可視化ソフトウェア「AVS/Express MPE」、複数の3Dアプリケーションをリアルタイムにひとつの３次元空間として表示できる「FusionVR」、3DCGコンテンツを立体映像コンテンツに変換する「VR4MAX」などがあります。

■サイバーコモンズを推進する周辺システム
可視化システムを活用して「サイバーコモンズ」を推進するための周辺機器や端末を導入しています。「サイバーコモンズ」とはインターネット上に作られた共有空間であり、学際的協働コミュニティとして活用する試みが米国を中心に活発になっています。例えば、２式の可視化システムにはハイビジョンビデオ会議システムが接続されており、画面を分割することで、可視化データを見ながら遠隔会議を行うことができます。また、モーショントラッキング装置を用いて、立ち位置に合わせた立体映像をリアルタイムで表示するバーチャルリアリティ機能も備えています。これらを活用することで、関係機関の可視化システムと接続し、遠く離れた研究者が可視化結果を同時に眺めながら、知見を共有し、意見を交換するといった新しい研究スタイルを実現できます。また、多くの可視化ソフトウェアを備えた8台のデスクトップPCを導入しており、ユーザに自由に利用してもらうことで、サイバーコモンズの実現を推進していきます。

フレキシブルリソースプールシステム
フレキシブルリソースプールシステムは、図3のように、システムに必要なコンピュータ資源をリソースプール化し、手作業でシステムの配線を変更することなく、ソフトウェアでハードウェア構成を変更できます。「CPUリソースプール」として64台のサーバ、「I/Oリソースプール」として、計算性能を向上させる48台のGPU、大量のデータを保存可能な12台で合計約400TBの大容量ストレージ、大規模シミュレーション計算などの高速読み書き処理に対応する4台の高速ストレージなどで構成されます。ネットワーク上に自在に各種デバイスを配置可能なExpEther技術(注2)を用いて、6台のラックに分散配置しています。
ユーザは用途に応じて、計算に必要なGPUの台数や、ストレージ容量を、物理ハードウェアレベルで選択して利用することが可能で、研究プロジェクト単位に利用するソフトウェアごとに、性能の制約を受けない研究環境を実現し、新たな知見の創出を支援します。

==============================================
可視化システムが社会に与える影響
==============================================
大型3Dタイルドディスプレイ
導入したディスプレイは「大型」、「高精細」、「3D」の3点を両立するため、広範囲な応用が考えられます。大型・高精細なため、大規模データの「全体像の把握」と「詳細の観察」をいずれも行いたい場合に適します。例えば、高精細な衛星写真を縮小せずに表示でき、近寄るだけで見たい部分を詳しく観察できます。同時に複数の人が観察できるので、コラボレーションや教育にも適します。また、大型・3Dの特徴から、自動車や建築物などの三次元データを実物大で立体表示できます。インタラクティブに様々な角度から観察できるため、模型などを作る手間を省き、短時間で正確なデザイン検討が可能です。
さらに、高精細・3Dの特徴から、複雑な立体構造を分かりやすく理解したい場合にも適しています。例えば図1に示すように、ゴムの高分子とナノ粒子の構造や、変形の様子を詳細に観察できます。体を動かし様々な角度から観察すれば、分子と分子の距離感や空間の広がり、分子の三次元的な動きなどを体感でき、 データへの深い洞察が得られます。
このような多岐に渡る応用を通じて様々な科学技術の新たな知見を生み出すと同時に、公開セミナーや見学会など一般の方々が体験できる機会を通じて、最新の研究成果をわかりやすく普及啓蒙していきます。

フレキシブルリソースプールシステム
導入したフレキシブルリソースプールシステムは、例えば、映像画像処理を行う場合は「I/Oリソースプール」にあるGPUをサーバに接続することで、GPUの高い浮動小数点演算性能を活用した計算を行う事ができます。また、大量のデータ分析を行う場合は、数百TBまで対応する大容量ストレージを自由に組み合わせて接続、高速にデータの読み書きが必要なシミュレーション計算を行う場合には、通常ストレージの数十倍以上の読み書き性能をもつ超高速ストレージを接続することで、高速なシミュレーションを行う事ができ、様々な研究用途にあわせた最適なシステムを提供することができます。
このようなシステムを用いて科学技術計算を行うことで、より多くの研究者が効率的に研究を推進でき、社会に還元できる多くの研究成果が生み出されることが期待されます。

==============================================
今後の展開
==============================================
導入した大規模可視化システムは、HPCI(注3)や JHPCN(注4)の制度を利用して研究課題に採択されることで利用できます。今後、大阪大学サイバーメディアセンターでは、導入した大規模可視化システムを核として、可視化技術や可視化技法に関する講習会、セミナー、ワークショップなどの開催、コンサルテーションなどの様々な可視化サービスを展開していきます。また、大阪大学と同時に整備された名古屋大学、東北大学の可視化システムと接続し、新しいスタイルの共同研究を推進していきます。

(注1) 画像提供: JHPCN課題ID 14-NA28（防衛大 萩田代表）
(注2) LAN標準のEthernetとコンピュータのPCI Express標準バスを結びつける技術。NECが開発
(注3) High Performance Computing Infrastructure, https://www.hpci-office.jp/
(注4) Joint Usage/Research Center for Interdisciplinary Large-scale Information Infrastructures,
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/ja/
----------------------------------------------------------------------------------
本件に関する問い合わせ先
----------------------------------------------------------------------------------
大阪大学サイバーメディアセンター　教授　竹村 治雄
電話: [phone]
e-mail: [e-mail]

ＮＥＣ　スマートデバイス事業部
電話: [phone]
e-mail: [e-mail]

サイバネットシステム株式会社　ADS第2事業部　ビジュアリゼーション第1部　北川 千夏
電話: [phone]
e-mail: [e-mail]

参考
■フレキシブルリソースプールシステムの仕様
リソースプールシステムを構成した高性能計算システムでは以下の機器を活用して構成しています。
サーバ：NEC Express5800/R120e-2M
I/Oボード：NVidia Tesla K20
I/Oボード：NVidia GRID K2
I/Oボード：NEC RAIDコントローラ＋Disk増設ユニット
I/Oボード：Fusion-IO ioFX 420GB
I/Oボード：Chelsio Communications T420-CR
I/Oボード：Teradici APEX2800-LP
Ethernetスイッチ：Mellanox Technologies SX1024、SX1036
ExpEther関連製品：NEC ExpEtherボード(10G)、NEC ExpEther I/O拡張ユニット(10G)

■NEC製品関連リンク（2014/06/02時点）
http://www.nec.co.jp/products/pcserver/rack/lineup.shtml
http://www.nec.co.jp/products/pcserver/option/diskarray/index.shtml
http://www.nec.co.jp/products/workstation/solution/expether/