SBテクノロジー、JR西日本の建設部門データを対象に RAGを用いた生成AIの実証実験を実施

～回答精度に対し一定の有用性を確認、若手技術者のスキル向上を目指す～

SBテクノロジー株式会社（本社：東京都新宿区、代表取締役社長 CEO：阿多 親市、以下 SBT）は、西日本旅客鉄道株式会社（本社：大阪府大阪市、代表取締役社長：長谷川 一明、以下 JR西日本）の建設部門データを対象に、RAG（検索拡張生成）※1技術を用いた生成AIの実証実験を実施しました。

本実証実験は、JR西日本の建設部門が保有する膨大な鉄道建設工事に関するドキュメントに、生成AIによる回答精度の有用性を検証することを目的としています。過去の知見や技術ノウハウが蓄積されているデータを利活用することで、若手技術者の技術判断の精度向上を目指します。

SBTが有する生成AIのノウハウを活用し、建設部門データの一部である約60,000ファイルを取り込んだ検証システムを1か月で開発し、RAGによる回答精度の検証において、情報の分類や分類に応じた回答生成に関して一定の有用性を確認しました。

背景

JR西日本は、「JR西日本グループデジタル戦略」において、顧客体験、鉄道システム、従業員体験の3つの再構築を掲げ、膨大なデータのデジタル化およびその利活用を推し進めています。JR西日本の鉄道建設プロジェクトを担う大阪工事事務所では、担当者間のナレッジの引き継ぎという側面に加え、近年熟練技術者が定年を迎えており、今後いっそう組織の若年層化が進むことも見据え、鉄道や技術ノウハウに関する建設データをクラウドストレージサービスのBoxに管理・共有し、技術継承の取り組みを推進しています。しかし、膨大な資料から過去の工事事例や安全・品質に関するルールの情報を検索する手間が大きな負担となり、未だ熟練技術者の経験や知見に頼らざるを得ない状況でした。今回「従業員体験の再構築」として、こうした業務課題を解決できる技術力が求められていました。

SBTは、Microsoft製品に関する豊富な導入実績を有し、また自社での生成AI活用や、法人向け生成AIサービス「dailyAI」の提供など、生成AIに関するノウハウを多数有しております。今回これらのナレッジを活用し、RAGを用いた情報検索システムを構築し、回答精度の有用性を確認する実証実験を行いました。

実証実験の内容（2023年12月～2024年３月）

〇 生成AIの検証システム環境の構築

Microsoft Azureのクラウド基盤に、Azure OpenAI Serviceによる生成AI検証システムを約1か月で構築しました。Azure Virtual Networkによるプライベートアクセスを構成したセキュリティ保護に加えて、生成AIに連携する前に個人情報を自動で削除するセキュリティ対策を実施し、Boxストレージに保管された約60,000ファイルに対するセキュアな生成AI活用基盤として構築しました。

検証システムではプロンプト（指示文）を入力することで、建設部門データの中から関連性のある情報を基に回答文を生成することができ、また各種パラメーターによって、生成AIの回答傾向を調整できます。

〇 RAG機能開発と精度検証

今回検証するデータの中には、業務規程、過去の事故情報や施工計画書などの鉄道建設工事に関連するさまざまな種類のドキュメントが含まれており、また作成した人によって記載内容に表記ゆれが見られました（レールと線路、コンクリートとRCなど）。そのため、これらの表記ゆれを吸収・加味したうえで、さらなる情報検索の精度を上げるために、RAGを用いて検証を行いました。また、検索時の利便性を高めるために、生成された回答の引用元となる関連ドキュメントリンクの提示に加えて、ファイル内容を端的に理解する文書タグの自動生成機能（#機械設備、安全確保など）を実装しました。これらの開発にあたっては、日々進化する生成AIの最新技術を取り入れるために、アジャイル開発※2の手法を用いて、短いサイクルで機能追加・改善を行いました。

検証システムの画面（一例）

実装したRAG（一部抜粋）

RAG	内容
ベクトル・ハイブリット検索	ベクトル検索（テキストではなくデジタル数値に基づいて最も類似する検索結果を示す手法）と、ベクトル検索とキーワード検索の長所を組み合わせたハイブリット検索。表記ゆれや言い換え表現を加味して情報を検索します。
セマンティック（意味論）検索	検索対象の意味や文書構造（文節、章など）を理解し、検索方法の精度を高める手法。膨大なドキュメントの中から生成される情報の選定精度を高めます。
HyDE（Hypothetical Document Embeddings）	一度生成された回答結果でさらに検索を行う手法。再度検索を行うことで、検索ロジックをより最適化させます。

検証結果

業務規程、過去の事故情報や施工計画書などのさまざまな種類のドキュメントに対する適切な分類や、分類に応じた回答生成内容など、利便性を含め検証のベンチマークとした項目を総合的に検証し、一定の有用性を確認しました。

西日本旅客鉄道株式会社 イノベーション本部 鉄道DX部長 真嵜 弘行 氏からのコメント

JR西日本は、JR西日本グループデジタル戦略を策定し、①顧客体験、②鉄道システム、③従業員体験の３つの再構築に取り組んでいます。③において、鉄道建設工事における過去の膨大な技術情報・工事ノウハウなどから、我々が欲しい情報を素早く収集して、それらを結合・要約して表現する仕組みについて、SBテクノロジー株式会社にご協力いただき、実証実験に取り組めたことに感謝いたします。

今後は、さらに両社の連携を深め、鉄道業界を超えて、世の中の工事関係者の参考となるユースケースになることを目指して取り組んでまいります。

今後について

今回の実証実験で得られた成果に加え、Microsoft製品に対する知見や生成AI、またセキュリティに関するSBTのノウハウを活かし、JR西日本のさまざまな業務課題の解決に向けて継続的に支援を行ってまいりいます。

関連サービス

Azure OpenAI Service マネジメント基盤構築サービス

https://www.softbanktech.co.jp/service/list/microsoft-azure/azure-openai-management/

※１ RAG（Retrieval-Augmented Generation：検索拡張生成）：関連性の高い情報を検索しそれを基に回答を生成する技術。

※２ アジャイル開発：ソフトウェア開発手法の一つ、フィードバックを迅速に反映し、短期間で計画、開発、テスト、改善のサイクルを実行する開発・改善手法。

※ 本リリースに記載されている会社名、製品名、サービス名は、当社または各社、各団体の商標もしくは登録商標です。

※ Microsoft、Azureは、米国 Microsoft Corporationの米国及びその他の国における登録商標または商標です。

※ Microsoft Azure 、Azure OpenAI Service、Azure Virtual Networkは、Microsoft Corporationが提供するサービス名称です。