油液型液浸サーバーの性能試験を共同で実施

―消費電力の少ない、低騒音な未来のAIサーバーを目指して―

　当社は、当社の子会社である北浜GRF株式会社（大阪府大阪市中央区、代表取締役　平岡 佳明、以下「KGC」）において、コンテナ型の油液型液浸サーバーについて、消費電力の測定、エネルギー効率、騒音などの測定と評価を共同で行うこととなりました。

　KGCは、SuperMicro/Ablecom製の油液型液浸サーバー（※参考１）および出光興産株式会社が開発したサーバー冷却油（※参考２）を活用したAIデータセンター用のコンテナに収めたサーバーシステム（※参考３）を開発いたしました。このサーバーシステムを活用すると、従来のAIサーバーに比べて電力の削減と騒音の削減が可能となります。

　そしてKGCは、国立大学法人東北大学 サイバーサイエンスセンター（宮城県仙台市、サイバーサイエンスセンター長　菅沼 拓夫、以下「サイバーサイエンスセンター」）と、油液型液浸サーバーの電力需要削減と騒音削減を目標とし、関連する様々な試験データを取得することを目的とした共同研究契約を締結いたしました。

　本研究は、サイバーサイエンスセンターと共同して行います。

要旨

　■基板ごと絶縁性の油液に投入することでGPU・メモリーなどを冷却する液浸サーバーである。

　■全負荷時での消費電力を測定、PUE実効値（※参考４）を求める。

　■二次冷却を含めたシステム全体のエネルギー効率、騒音などを評価する。

背景

　AIの社会への実装が各方面で進められ、AIのデータセンターへの需要が旺盛になっています。しかし、データセンターの中核であるNVIDIAのGPUチップの発熱などにより、一つのデータセンターで消費する電力量は数十MW以上という状態になってきています。このためAIのハードウェアを効率よく冷却して消費電力を下げる必要性が叫ばれています。また、現在の空冷による冷却方式には、高温の空気の排気とファンに由来する騒音が付きまとい、近隣住民のデータセンター設置反対運動が起きている場所も存在します。これらの問題を解決出来る可能性のある、油液型液浸サーバーの開発が待たれています。

実験計画

　実験は、屋外型のコンテナに油液型液浸サーバーと油液の熱交換のためのユニット（CDUユニット（※参考５））を収容し、コンテナ外に設置するクーリングタワーで２次冷却する構成とします。油液型液浸サーバー内には、GPU一式（H200x8個）とダミー用ヒーター25個（全負荷（81.4kW）をセットします。

　 評価実験は以下のように手順で実行します。

①GPUサーバーに全負荷がかかるような計算プログラムを実行する。

（Green500のベンチマークとなるHPL（※参考６）又はソフトウェアを使用し全負荷を実行）

②その際の電力消費量を測定①②③（下図参照）　PUE実効値を測定

③サーバーのみの全負荷でも同じ試験を実施する。

④Energy Efficiency= HPL Performance (Rmax in FLOPS)​／Power Consumption (Watts)　を算出し、計算力とエネルギー消費量の効率を求める。

            　　                         

※参考１

北浜GRFが開発した油液型液浸データサーバーシステム

　昨今のAIブームからくるGPUチップセットサーバーの設置増加の影響で膨大な電力消費が懸念されている。KGCはこれらの急速に立ち上がるAIデータセンターの電力需要削減に少しでも寄与するために以下のシステムの開発を行った。

　従来はフロン系液体の昇華熱吸収を利用して、冷却を行う方式が主流の液浸冷却システムが一般的であったが、昨今のフロン系ガスの温暖化ガス係数の増加傾向から、フロンガスの見直しが迫られている。そのような中、弊社は変圧器等に使用されてきた高絶縁油を冷却器媒体として当該媒体を循環させ、熱交換器による熱交換する事により、サーバー格納タンク内の廃熱を屋外へ排出する事に成功した。

※参考２

出光興産が開発したサーバー冷却油の特徴

　日本国内では、250℃以上の高引火点の油は指定可燃物に分類され、利活用上の制限を受けない。また、高い排熱性能を実現するためには、低い粘度の油の方が冷却性に優れる。以下に開発した油の具体的特徴を示す。

◯ハイフラッシュポイント：引火点254℃（指定可燃物に該当）

◯高流動性：動粘度 5 mm2/s（@100℃）

◯高絶縁性：イオン化しない

◯外観・他：無色透明液体、無臭

※参考３

　システムの特徴：チラー等の高負荷機器の不使用、クーリングタワーのみの冷却、水道水を使用

※参考４

　PUEとはデータセンター内で使用する総電力量を分母に置き、IT機器で利用するエネルギーを分子において割り算をしたエネルギー効率指標を指します。一般的に1.0が最も効率がよく、当社としては1.05近辺をターゲットにデータセンターの設計を進めております。これはIT機器を動かす補器類がわずか5％で済むという意味です。

※参考５

　CDUユニットとは、冷却用オイルからの熱をプレート式熱交換器を通じ水と熱交換を行う、熱交換ユニットの意味です。効率良い運転をするための制御システムも含みます。

※参考６

　HPL（High Performance Linpack）は、スーパーコンピュータの電力効率を評価するための重要な指標です。具体的には、Green500は、TOP500リストに掲載されているスーパーコンピュータを、消費電力1ワットあたりでどれだけの計算性能（HPLベンチマーク）を発揮できるか、という基準で順位付けしています。この電力効率は「ギガフロップス/ワット（GFlops/Watt）」という単位で測定されます。

 以 上