Weights & BiasesがOptunaとのインテグレーションを提供開始

wandbローンチとの連携により、複数マシンへのハイパーパラメーターチューニングの並列展開を自動化

機械学習 (ML) 開発・実装プラットフォームを提供するWeights & Biases Japan株式会社 (ウェイツ・アンド・バイアスィズ・ジャパン、以下W&B Japan社) は本日、Weights & Biasesプラットフォーム（wandb）と株式会社Preferred Networksが中心となって開発するMLモデルの最適化フレームワーク、Optunaとの連携機能を発表しました。これによって、Optunaの優れた最適化アルゴリズムをwandb上でトラッキングされているあらゆるモデル開発コードに対して適用し、その結果をリアルタイムでダッシュボード上で確認することができます。前述のローンチキューを設定し、簡潔なコンフィグレーションファイルを定義することで、オンプレミスやクラウドにある計算リソースを効果的にモデルの精度向上のために割り当てることができるようになります。

関連リンク：

• リリースブログ：https://note.com/nejumi_dqx/n/n77b01e97c97c

• リリース記念ウェビナー：https://wandb.connpass.com/event/288204/

• GitHub上のサンプル：https://github.com/wandb/examples/tree/master/examples/launch/launch-sweeps/optuna-scheduler

• Wandbドキュメンテーションの該当箇所：https://docs.wandb.ai/guides/launch/sweeps-on-launch#why-use-optuna

wandbにはハイパーパラメーター探索の自動化を行うスイープ機能が以前から提供されていましたが、より高度な最適化を求める声を多くのユーザー様からいただいてきました。特に、ハイパーパラメーターの最適化を自動化するためのオープンソースフレームワークであるOptuna（オプチュナ）は、深層学習モデルの最適化を主眼に置き、ベイズ最適化を含む多様なスケジューラーと、サンプリングやプルーニングの手法を組み合わせて効率的に最適なハイパーパラメーターを探索してくれる特徴から、世界中の機械学習エンジニアから広く支持されています。

Weights & Biasesが本年3月に発表した新機能「ローンチ」は、事前に定義されたモデル開発ジョブを実行環境とともにコンテナ化し、利用可能な任意の計算リソースで実行するためのジョブキューを提供しています。ジョブキューはDockerが有効になっているローカル環境だけでなく、AWS上のEKSや、GCP上のGKSなどを含むKubernetesクラスターをキューの実行対象として指定することができるため、前述のジョブをボタン一つで並列処理環境に展開することができます。

エンドースメント

株式会社Preferred Networksエンジニアリングマネージャー佐野正太郎氏のコメント

「wandbのローンチ機能とOptunaのインテグレーションが実現したことを大変嬉しく思います。今回のインテグレーションにより、Optunaの最適化性能を活かしながら、ジョブ管理をwandbで簡潔かつ安定した形で行えるようになります。これが機械学習の開発プロセスを加速させ、限られた時間とリソースでより高品質なモデルを開発する手助けとなることを期待しています。ぜひお試しください。」

ウェビナーを開催

今回発表された新機能を体験していただくためのウェビナーを開催します。ローンチの基本的な概念に始まり、その設定方法、Optunaを使った最適化ジョブの実行までをご覧いただくことができます。ワークショップで使った資料・ノートブックなどは共有されますので、wandb.ai上ですぐにお試しいただくことができます。お申し込みはこちら（https://wandb.connpass.com/event/288204/）から。

ワークショップアジェンダ

1. WandBによる実験管理

   1. 実験管理の基礎と再現性の担保

   2. 可視化とインサイトの抽出

2. Optunaのご紹介（Preferred Networksの芝田さんより）

3. Launch機能のセッティングとジョブの実行

4. Sweeps with Launchによるハイパーパラメータの最適化

   1. W&BスケジューラのUI上からの実行

   2. OptunaスケジューラのCLIからの実行

日　時：　2023年7月5日 17:00-18:00
参加費：　無料（事前登録制）
お問い合わせ：[e-mail]

Weights & Biasesプラットフォームについて

wandbは、エンタープライズグレードのエンドツーエンドMLOpsワークフローを提供する、開発者向けのコラボレーションプラットフォームです。W&Bは、NVIDIA、OpenAI、Lyft、Blue River Technology、Toyota、MILAなど、世界で50万人以上のML開発者に信頼されているML開発の新たなベストプラクティスです。W&Bの開発者向けプラットフォームの詳細については、https://wandb.ai/site/jp-homeをご覧ください。