Gaudiy、LLMアプリ開発の評価補助ライブラリ「LangSmith Evaluation Helper」をOSSとして公開

株式会社Gaudiy

2024年7月23日 09時01分

「ファンと共に、時代を進める。」をミッションに掲げる株式会社Gaudiy（以下、Gaudiy）は、LLMアプリケーション開発における「評価」を補助するライブラリ「LangSmith Evaluation Helper」をOSS（オープンソースソフトウェア）として公開したことをお知らせします。

■ OSSライブラリを開発・公開した背景

近年の生成AIの進化により、LLM（大規模言語学習モデル：Large Language Models）時代に突入しています。この技術進歩に伴い、LLMを活用したアプリケーション開発が急速に増えていますが、アプリケーションのユーザー体験を向上させるために重要なのが「プロンプトチューニング」です。このプロセスには多大な労力がかかるため、LLMアプリケーション開発において、プロンプトチューニングの作業効率化が重要な課題となっています。

プロンプトチューニングとは、AIモデルがユーザーからの入力に対して適切な応答を生成するための最適な指示（プロンプト）を設計・調整するプロセスです。これにより、AIモデルの応答の質が向上し、ユーザー体験が改善されます。

Gaudiyは、大手IP企業向けにファンコミュニティプラットフォーム「Gaudiy Fanlink」を開発・提供しており、現在、LLMを活用した機能開発にも注力しています。しかし、従来のプロンプトチューニングの方法では、更新履歴の管理やステークホルダー間の合意形成において、いくつかの問題がありました。

この度、Gaudiyが開発した新たなOSSライブラリ「LangSmith Evaluation Helper」は、LangSmithを使った評価と実験を効率化し、より重要な業務に集中できるよう設計されています。このライブラリを活用することで、LLMアプリケーション開発者がより本質的な課題解決に取り組めるようになることを目指し、OSSとして公開しました。

本ライブラリは、誰でも無料で利用可能です。詳細情報については、下記GitHubをご確認ください。

- LangSmith Evaluation Helper:

https://github.com/gaudiy/langsmith-evaluation-helper

■「LangSmith Evaluation Helper」の主な機能

「LangSmith Evaluation Helper」は、LangSmithが提供する機能を拡張するためのOSSライブラリです。

LangSmithとは、LLMアプリケーション開発フレームワーク「LangChain」の開発元がリリースした、LLMアプリケーション開発支援サービスです。Gaudiyでは、以前からLLMのモニタリング基盤としてLangSmithを採用しており、この度、新たにデータセット作成とプロンプトのアウトプット評価にもLangSmithを活用することにしました。

LLMアプリケーション開発者は「LangSmith Evaluation Helper」を利用することで、以下を実現することが可能です。

よりシンプルなインターフェイスでの評価・プロンプト実行
用意したインプットデータセットによる並列実行
プリセットおよびカスタムの評価関数の実行
複数モデルの並列実行や繰り返し実行

このライブラリをOSSとして公開することで、LLMアプリケーション開発者のコミュニティとLangChainエコシステムの発展に貢献し、より優れたユーザー体験が多くのサービスで提供されることを願っています。

GaudiyのLLMアプリケーション開発における実験管理環境の技術選定や、本ライブラリを活用したプロンプトチューニングの取り組みは、以下の記事をご参照ください。

①【技術選定/OSS編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話

https://techblog.gaudiy.com/entry/2024/07/23/080117

②【開発プロセス/検証編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話

https://techblog.gaudiy.com/entry/2024/07/23/080240

■ 今後の展望

Gaudiyは、誰もが好きや夢中で生きられる社会「ファン国家」の実現を目指しています。その社会を実現するには、人々の熱量や貢献を可視化し、なめらかに価値分配する仕組みが必要です。

現実社会は複雑なシステムであり、これまでは複雑なシステムを複雑なまま扱うことが技術的に困難でした。しかし、私たちはAIエージェントの社会実装により「社会シミュレーション」を実現することで、これまでひっそりと見過ごされてきた貢献や将来に拓かれる可能性を可視化できると考えています。

今後も、LLM技術の革新とユーザー体験の向上に向けて積極的に取り組むとともに、先進的な取り組みから得た知見を世の中の共有資産とすることで、時代を進めてまいります。

■Web3×AI領域でグローバルに挑戦するメンバーを募集

Gaudiyは「ファンと共に、時代を進める。」をミッションに掲げ、誰もが好きや夢中で生きていける「ファン国家」の実現を目指しています。日本が誇るエンターテインメント産業と、Web3や生成AIの技術領域を掛け合わせ、グローバルに挑戦していきます。ファンコミュニティプラットフォーム「Gaudiy Fanlink」と、あたらしい金融事業を推進する「Gaudiy Financial Labs」の双方で、無謀な探求をする仲間を募集中です。