KDDIアジャイル開発センター、Azure OpenAI ServiceとAmazon Bedrockを用いて生成AIを活用したプロダクトを複数開発

RAGによる社内文書検索のチューニング知見も強化

KDDIアジャイル開発センター株式会社

2023年12月19日 15時10分

KDDIアジャイル開発センター株式会社（本社：東京都港区、代表取締役社長CEO：木暮圭一、以下KAG）は、Azure OpenAI Service(*1)を活用した「デバサポAIチャット」と、Amazon Bedrock(*2)を活用した「ビジつく！」の2つのプロダクトを開発しました。

KAGでは、日々急速なスピードで発展する生成AI活用の推進や、関連する情報・知識・技術の獲得のため「KAG Generative AI Lab」というチームをつくり活動しています。KAG Generative AI Labは、日々生成AIのキャッチアップとプロトタイプ開発を行い、実践的なノウハウを集約、社内の開発チームへ還元することで、最終的にはお客様へ価値貢献できるように目指しています。

デバサポAIチャットとビジつく！この２つのプロダクトは生成AIを活用したプロダクトの商用に向けた実証実験、および生成AIを活用したプロダクト開発のプラットフォームを複数経験しておくことで開発知見を獲得し、解決課題に合わせて適切に手段の選択を行うための検証として実施されました。そこで得た具体的な知見をご紹介します。

Azure OpenAI Serviceを活用し「デパサポAIチャット」を開発

デバサポAIチャットはKDDI株式会社ビジネスデザイン本部デジタルチャネル営業部デバイスサポートG(以下デバサポG)向けに開発された、セキュアに社内文章データを活用できるAIチャットです。

法人のお客さま向けスマートデバイスや提供サービスのラインナップ増加により、お客さま申告受付数は年々増加しています。年間数百件、月間平均数十件、各申告に対応する時間は長い場合で数日間必要になっていました。これらをサポートするデバサポGチームの対応負荷の増大が課題となっていました。

また、年間数百件の申告のうち、申告受付時点で約38%が原因箇所不明か調査依頼先の誤りとなっており、初期対応の工夫によりサポート対応を効率化できる可能性がありました。

社内PoC(実証実験)として、デバサポGの課題解決につながるかどうか、今後ほかのお客さまの同様の課題解決に向けた商用提供も視野に入れて、デバサポAIチャットは企画・開発されました。

このAIチャットはスマートフォンやモバイルWiFiルータなどのデバイスの仕様や、過去のトラブルシュートを取り込んだAIチャットボットとなっており、トラブル内容をチャットに入力すると過去のナレッジデータから解決につながる情報をAIが回答します。

デバサポAIチャットはMicrosoft Azure(*3)を利用してアーキテクチャが設計されており、セキュアに社内文章を取り扱うために閉域化されたネットワーク上に構成されています。今回はPoCということでアップロード画面は設けず、Azureポータルから直接社内文書をアップロードする方式を採用しました。

AIチャットボットに取り込んだ社内文章・ナレッジデータ

今回PoCでは以下2種類の社内文書・ナレッジデータAIチャットボットに取り込みました。

法人向けスマートフォンおよびモバイルWiFiルーターの取り扱い説明書です。それぞれ数百ページほどのボリュームのPDF形式のファイルです。
法人のお客様からの不具合申告の過去対応一覧・対応履歴・営業担当とデバサポG間のチャットなどを含むCSV形式のファイルです。過去に対応した不具合申告情報を約1000件ほど取り込みました。

RAGによる社内文書検索のチューニング知見

AI活用において、社内文書検索やそこからの適切なサジェスチョンや回答というのは、特に期待されるところだと認識しています。商用提供の際もこの分野でのAI活用は需要があると見込まれ、今回の開発ではRAG(*4)による社内文書検索のチューニングについて知見強化を行いました。

まず、Azure OpenAI Serviceには1分あたりのトークンに上限があり、これをうまく処理する必要があります。デバサポAIチャットではこの上限を超過しないようにファイル分割したり、システム側でトークン数をあらかじめ計算してからAIに渡したりとAIのRate limitを回避するために試行錯誤しており、最終的にストレスなく社内文書を取り込めるように実装しています。また、トークン上限超過回避とあわせAIの回答精度を高めるためにデータの内容に冗長な物やノイズとなるものが含まれている場合は要約してから取り込むようにしました。

また、取り込んだ文章はインデックス化し、AIはそれを検索して内容を考慮したうえで回答できるようにしています。この回答の精度を上げようとすると、手法に明確な正解がなく地道に一つ一つの試行錯誤を繰り返して、精度向上のための手法の導入前後の回答を比較しチューニングすることが必要でした。これはとても手のかかる部分ですが、活用用途に合わせAIに適切な回答をさせるためには現状このようなきめの細やかなチューニングが必要になるものと言えます。

その他、取り込んだ文章を格納していく際に業務に想定されるキーとなるデータを埋め込みAIがデータを検索する際にこのキーでフィルタリングして検索できるようにして精度向上を図ることも試みています。

PoCの結果

デバサポについては商用を見越した実証実験であったため、実際に該当部門に導入し、利用者から下記フィードバックを回収しました。

ポジティブなフィードバック
- 既存の方法よりもストレスが少なく業務遂行できるためユーザーの活用意欲が高かった。
- 特定のユースケースで業務活用に向いていると感じられた。例えば、過去事例の探索では現状のやり方と比較すると少ない手数で素早く情報を集められるため、ポジティブな評価を得た。
ネガティブなフィードバック
- 特定のユースケースで業務活用に不向きだと感じられた。例えば、原因切り分けではAIチャットボットが回答する情報が足りない・整合性が信頼できないというネガティブな評価を得た。
今後のユーザー体験向上・さらなる業務活用に向けた気づき
- 回答精度を求めてチューニングして入力方法をカスタマイズした結果、プロンプトの入力フォーマットが難解になり良い回答を引き出すのに慣れが必要だった。チャット初期画面で入力方法の説明や入力例を記載しているものの、ユーザーにはほぼ目に入っていなかったことがわかった。
- UX/UI観点での改善案としてチュートリアルやモーダル表示などの強制的に手を止めて入力方法を理解し慣れるためのUIが考えられる。
- 別のアプローチとして、ユーザーのプロンプト入力の負荷を下げるようなプルダウン形式のUIとするなど、業務内容に合わせて入力フォーマットを固定化する改善案も考えられる。

詳しいPoCの過程などはこちらからもご覧いただけます。

「作るものはもう決まってます」技術ドリブンの生成AI 短期PoC案件でUXデザイナーがどう関わったか

https://note.com/kag_yonemichi/n/n98df02381b7b

Azure&RAGアーキテクチャによるAIチャットボット(デバサポAIチャット)を作ってみてわかったこと(法人デバイスサポート業務活用PoC)

https://developers.kddi.com/blog/29moPnzUaqSPJsu0v2pKg9

今回の検証の結果は実際に商用提供する際の重要なユーザーボイスとして捉えており、これらを足がかりとしながらより利用しやすいAIチャットへの調整を継続していきます。

Amazon Bedrockを活用し「ビジつく！」を開発

「ビジつく！」は「ビジネスをつくろう！」の略で、テーマを指定するだけでDX新規事業サービスのアイデアを作り出すためのプロダクトです。KAGとKDDI DIGITAL GATE(*5)で共同開発しています。

利用者は、テーマを指定しビジつく！から出てきたジョブ（課題）、アイデアの中から気になるものを選んでいくだけで、新規事業づくりを体験することができます。

この「ジョブ」のバリエーション設定というのは従来のように人の手で行うと意外に時間がかかったり、似たものになってしまってバリエーションが出ないといった課題がありましたが、生成AIに提案してもらうことでこの課題を解決しました。

また、ビジつく！の開発ではAWSより提供が開始されている生成AIサービス「Amazon Bedrock」を早期検証するということも目的の１つでした。そのため、サービスデザインにおいても、利用者の課題とあわせLLMの価値をうまく活かすことができるようにサービス設計されています。

上記のアーキテクチャ図の通り、ビジつく！はAmazon Bedrockを含めすべてAWSクラウドのなかで開発されています。AWSは習熟度の高いエンジニアが多く、またマネージドサービスが豊富なため、開発速度の担保や安定したサービスを作る上で大きなメリットがありました。

アーキテクチャ的な観点では、AIからの応答に時間がかかる場合もあり、その際アプリが無応答となってしまうことを避けるため、非同期アーキテクチャを採用することで解決しています。

今回Amazon Bedrockでは、Anthropic社提供のClaude 2という基盤モデルを利用しています。Claudeは高性能かつコストパフォーマンスも良く、LLMのベンチマーク（Rakuda）でもClaude 2はOpenAI社のGPT-3.5とGPT-4モデルの間に位置する日本語性能と言われています。

その他、Amazon Bedrockに関連する実装でのティップスとしては、BedrockのAPIから返却される生成テキストをアプリケーションが処理しやすいようにJSON形式へ加工する必要があり、今回はLangChainに組み込まれているPydanticというパーサーを利用しています。このようにBedrockとOSS等のLLM周辺エコシステムを上手く組み合わせることによって自由度の高い生成AIアプリケーションを開発できることも学びとなりました。

ビジつく！の詳細についてはこちらでもご覧いただけます。

生成AI(Amazon Bedrock)を使ったサービスデザイン体験プロダクト「ビジつく！」を作ってみた

https://note.com/kag_makishy/n/nda608a8baf50

宇宙最速!? を目指してAmazon Bedrockを本格活用したプロダクトを開発しました！

https://developers.kddi.com/blog/44TMD1pcdiTqR2CMzrdpZo

本取り組みを通して、それぞれのプラットフォームにおける開発知見、またこれまでのプロトタイピングと合わせて生成AIの応答のタイムラグや、操作性などの認知的なストレス軽減課題などが明確になりました。KAG Generative AI Labは引き続き生成AIに関する先進的な取り組みを続けていきます。

*1 ：Azure OpenAI Service

Microsoft Azureのクラウド環境上で先進的なOpenAIのAI技術を利用できるビジネス向けの生成AIサービスです。エンタープライズレベルの高いセキュリティとスケーラビリティを提供します。

https://azure.microsoft.com/ja-jp/products/ai-services/openai-service

*2：Amazon Bedrock

Amazon Web Services, Inc. により提供される、大手 AI 企業の高性能な基盤モデル (FM) を単一の API で選択できるフルマネージド型サービスの名称、及び商標・登録商標です。

https://aws.amazon.com/jp/bedrock/

*3：Microsoft Azureについて

マイクロソフト社が提供するクラウドコンピューティングサービスの名称、及び商標・登録商標です。

https://azure.microsoft.com/ja-jp/resources/cloud-computing-dictionary/what-is-azure

*4：RAG(Retrieval Augmented Generation)

RAG(Retrieval Augmented Generation)とはLLM(大規模言語モデル)の機能を拡張しAIからの回答精度を向上させるための手法です。

AIは質問に対する回答を生成する前に、インターネットや特定のデータベースから関連する情報を検索します。この検索により得られた情報を質問内容に文脈として付加することで、AIが学習していない情報(社内情報等)を元に回答が出来るようになります。また、AIが学習した情報からのみ回答する場合よりも、正確で詳細な内容を回答できます。

*5：KDDI DIGITAL GATE

KDDI DIGITAL GATEは日本の企業組織がデジタル変革を実現していくためのビジネス開発拠点です。お客さまの業務課題解決や新規事業創出といったDX推進をサービスデザインワークショップやプロトタイプ開発等のアジャイル型企画開発手法を用いて強力に支援します。

https://biz.kddi.com/digitalgate/

KAG Generative AI Labについて

KAGでは社内の生成AIに関する理解の向上、技術力向上を目的とし、これらを短期的に集中して行うために今年5月よりKAG Generative AI Labをつくり活動を進めています。

KAG Generative AI Lab の目的

・社内の生成AIに関する理解の向上を推進する

・社内の生成AI活用のための技術力の向上を推進する

KAG Generative AI Lab の主な活動

・生成AIの理解

・生成AIに関連するセキュリティや法律などの周辺情報の理解・知識獲得

・生成AIの実践的な活用に関する技術情報の理解・知識獲得