Weights & BiasesがLLM開発者・利用者向けホワイトペーパーを発表

「LLMをゼロからトレーニングするためのベストプラクティス」を今週開催のAI Expo2023春にて配布予定

Weights & Biases Japan

2023年5月9日 10時00分

機械学習 (ML) 開発・実装プラットフォームを提供するWeights & Biases Japan株式会社 (ウェイツ・アンド・バイアスィズ・ジャパン、以下W&B Japan社) は本日、大規模言語モデル (LLM) の開発や、既存モデルのカスタマイズ活用を検討している企業向けのホワイトペーパーの日本語版をリリースしました。W&B社のAI開発プラットフォーム、Weights & Biases (以下wandb) はOpenAIやStability AIなどの最先端の生成系AI開発企業が使用しており、これまで明文化されないことも多かった開発ノウハウを25ページのレポートにまとめました。ChatGPTの登場以来注目されている本技術について、開発者・利用者の理解の促進のために先月先行してリリースされた英語版の日本語訳となります。

本ホワイトペーパーの入手先

本ホワイトペーパーの印刷済み冊子は5月10日から12日にかけて開催されるAI Expoで配布予定です。また、ダウンロード版PDFはこちらのURLから入手可能です：https://wandb.me/llm-jpdl

「LLMをゼロからトレーニングするためのベストプラクティス」概要と目次：

このホワイトペーパーではLLMの開発に関連する技術的課題を幅広くカバーし、考慮すべきトレードオフを検証するとともに、その過程で起こりうる落とし穴を指摘します。LLMをスクラッチで (ゼロから) トレーニングする際のキーとなるステップや考慮すべき点について、網羅的に説明するとともに、事前学習済みの既存モデルを利用する上でも有益な情報を関連研究を参照しながら、非専門家にもわかりやすく説明しています。

　・学習済みLLMモデルの構築と購入の比較

　・スケーリング法則

　・ハードウェア

　・データセットの収集

　・データセットの前処理

　・事前学習のステップ

　・モデル評価

　・バイアスと有害性

　・インストラクションチューニング

　・人間のフィードバックによる強化学習

LLMの商用利用化への道筋

優れた言語生成能力を持つLLMの活用方法はここ数ヶ月活発に議論されていますが、大きく分けると下記の三つの方法があります：

　・商用LLM（基盤モデル）のAPIを使う

　・既存のオープンソースLLMを独自にチューニング（カスタマイズ）する

　・自らもしくは外部支援を受けてLLMをトレーニング（構築）する

OpenAIのChatGPTはプロンプトと言われる人間からの入力に対し優れた回答をすることが話題になり、同社のAPIを使った「プロンプトエンジニアリング」により、事業に活用する試みが盛んに起こっています。一方で、外部サービスにセンシティブなデータを送信することによるデータ漏洩リスクや、特定の目的に特化した高品質な結果の生成には課題が指摘されており、自社でコントロールできる開発環境の構築を可能にするオープンソースの基盤モデルも注目されています。また、LLMをビジネス戦略や技術的優位性の中核と位置付ける企業においては、独自のLLMをスクラッチで開発することも検討・開始していますが、これには膨大なリソースとノウハウが必要となります。

有用なLLMの開発・活用には深層学習技術の発展、特に2017年に発表されたトランスフォーマーアーキテクチャーや、データ量・計算量・モデルの複雑性の関係を示唆するスケーリング法則、一つのGPUに付属するメモリーには収まらないモデルの並列学習方法、学習済みモデルの振る舞いをチューニングするための技術など、多岐にわたる技術への総合的な理解が求められます。また、これらのノウハウは学習済み基盤モデルをチューニングすることにも非常に有益な基礎知識です。

国内における開発ノウハウの蓄積は急務

本ホワイトペーパーの日本語翻訳を監修したW&B Japanの代表であるシバタアキラは「日本でもLLMの開発・活用に関して活発に議論が起こっていますが、これまでの研究・開発活動の多くが米国に集約されており、国内における開発ノウハウの蓄積は急務です」と述べています「世界をリードするLLM開発企業のデファクトスタンダードになっているwandbには、すでにこのようなノウハウの中から生まれた開発・実装ワークフローを実現する機能が豊富に用意されており、LLM開発・活用を目指す国内企業の支援を最優先課題と捉えています。」

AI Expo2023春にて展示予定

W&B Japan社は、2023年5月10日から12日にかけて東京ビッグサイトで開催されるAI ExpoではLLM関連機能を含むwandbの最新機能をデモンストレーションする予定です。AI ExpoのW&Bブースでは本ホワイトペーパーの印刷済み冊子を配布予定です。

Weights & Biasesプラットフォームについて

wandbは、エンタープライズグレードのエンドツーエンドMLOpsワークフローを提供する、開発者向けのコラボレーションプラットフォームです。W&Bは、NVIDIA、OpenAI、Lyft、Blue River Technology、Toyota、MILAなど、世界で50万人以上のML開発者に信頼されているML開発の新たなベストプラクティスです。W&Bの開発者向けプラットフォームの詳細については、https://wandb.ai/site/jp-homeをご覧ください。
なお、本製品の日本展開を行うWeighs & Biases Japan株式会社は、2023年4月に日本ディープラーニング協会の正会員に入会しました。