Weights & Biasesが経済産業省のGENIACプロジェクトで採用

開発中のGPUリソースモニタリングおよび、構築されたモデルの性能評価に活用

Weights & Biases Japan株式会社（以下、W&B Japan）の提供する実験管理・MLOpsプラットフォーム、WandBが経済産業省の主催する生成AI開発支援プログラムであるGENIAC（Generative AI Accelerator Challenge）に採用されました。本プログラムは日本国内の基盤モデル開発力を底上げし、企業等の創意工夫を促すことを目的とし、本取組の中でWandBは採択企業等の構築したAIモデルの性能評価および、開発段階におけるGPU計算資源の利用モニタリングに活用されます。本取り組みは、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／生成AI基盤モデルの開発のあり方に関する調査」に基づく取り組みで、実施先として採択されたボストン コンサルティング グループとの協業によって提供されます。

今回の採用の背景と目的

　W&B Japanは、2023年7月よりLLM日本語能力ランキング、Nejumi LLMリーダーボードを運営してきました。本リーダーボードは国内外の大規模言語モデル（LLM）40以上を評価する国内最大級の性能評価ランキングに成長し、LLMモデルの日本語言語理解能力と生成能力の双方を多角的な観点から評価する新たなフレームワークとして定評を獲得してきました。

　本リーダーボードはWandBに搭載された各種機能を応用しているため拡張性が高く、評価方法を追加したり、公開・非公開を問わず特定の目的のために再構築することが可能です。そのため、例えば国立情報学研究所（NII）の主催するLLM-jpが公開した「llm-jp-eval リーダーボード」などにも活用されています。

　また、WandB製品の特徴として、開発中のコードに最小限の記述を加えるだけで、モデル学習時の計算機リソースの利用状況をモニタリングすることができる機能を有しており、これによりGPUの提供クラウドベンダーの種類などに依存せずに、割り当てられたGPUの活用効率を可視化することができます。

　これらの背景を踏まえ、多数のGPUを採択企業に提供し、質の高い生成AIモデルの構築を目標とするGENIACプロジェクトの運営において、必要とされる重要機能を提供できることが評価され、今回の採用に至りました。

関連リンク：

• GENIAC公式サイト：https://www.meti.go.jp/policy/mono_info_service/geniac/index.html

• 「ポスト5G情報通信システム基盤強化研究開発事業／生成AI基盤モデルの開発のあり方に関する調査」に係る実施体制の決定について：https://www.nedo.go.jp/koubo/IT3_100298.html

• Nejumi LLMリーダーボード：http://nejumi.ai

GENIACプロジェクトにおけるWeights & Biases Japanの役割

　今回の採用によりW&B Japanは、WandB製品を採択された開発企業・研究機関に提供することで、各社の開発スピードと質の高いモデルの構築を支援します。具体的には下記の2つの役割を担います：

1. 日英両言語においてLLMモデルを多様な評価軸で評価するリーダーボードの提供：
    数百億パラメーターを持つ大規模なLLMモデルは、非常に汎化性能が高く、一つのモデルで多数のタスクを高精度にこなすことができる可能性が知られています。特に今回の取り組みでは、世界標準である英語での性能と、国内利用を念頭においた日本語での性能を検証していくことが重要と考えられています。GENIACプログラム向けリーダーボードにおいては、両言語において言語理解、言語生成、知識の正確さなどの多様な観点からモデルを評価し、比較結果を採択企業にフィードバックすることで、モデル性能のさらなる高度化を支援します。

2. GPUの利用効率を可視化するためのダッシュボードの提供：
    大規模なモデルの学習を現実的な時間内で終わらせるためには、大量の計算リソースが必要とされます。特に割り当てられた多数のGPU上に学習ジョブを並列化し、各GPUの演算およびメモリを効率良く稼働させることは技術的難易度が高いことが知られています。GENIACプログラム向けのリソースダッシュボードは、WandBがトラッキングした情報を日次で集計し、開発企業に割り当てられたGPUの利用効率を可視化します。またダッシュボード上のデータはダッシュボード上でインタラクティブに分析を行うことが可能になります。

　なお、上記の役務は、GENIACプロジェクトの事務局の実施先として採択されたボストン コンサルティング グループとの協業によって提供されます。

Weights & Biases Japan株式会社について

　Weights & Biases Japan株式会社は、エンタープライズグレードのML実験管理およびエンドツーエンドMLOpsワークフローを包含する開発・運用者向けプラットフォームを販売する日本法人です。WandBは、LLM開発や画像セグメンテーション、創薬など幅広い深層学習ユースケースに対応し、NVIDIA、OpenAI、Toyotaなど、国内外で50万人以上の機械学習開発者に信頼されているAI開発の新たなベストプラクティスです。

W&B社日本語ウェブサイト：https://wandb.jp