MagicPodが生成AIを使った2つの新機能「テストケース要約機能」「テスト変更内容要約機能」をリリース

要約の精度を上げるコツと、内部で利用しているプロンプトも公開！

株式会社MagicPod

2024年6月27日 11時00分

株式会社MagicPod（本社：東京都中央区、代表取締役：伊藤望）は、AIテスト自動化プラットフォーム「MagicPod」の新機能として生成AIを使った「テストケース要約機能」「テスト変更内容要約機能」をリリースしたことをお知らせします。

新機能の詳細

テストケース要約機能

MagicPodを使ってテストを作成すると、そのテストがどのような内容なのか要約を自動で生成します。

これまでは、ある担当者が作ったテストの内容を別の担当者が理解するためには、テストの内容を読み込んだり、作成者に聞いたりする必要があり、理解に時間がかかる・全体像の把握が困難、といった問題がありました。テストの要約が自動で作成されることにより、テストを作った人以外でも要約を読むだけでテストの内容が簡単に短時間で理解できるようになり、情報の共有が容易になります。さらに、テストの内容が更新された時は要約の方も自動で更新されるため、要約を人間が更新する手間もかからず、要約の内容がテストと比べ古くなり陳腐化するリスクもありません。

テストスクリプトをMagicPod Public APIで人間の読みやすいテキストに変換し、それを生成AIで要約

テスト変更内容要約機能

テストケースを変更し保存する際、変更内容を要約した「変更メッセージ」案を、ボタンを押すだけで生成できるようになりました。生成された変更メッセージ案は、必要に応じてユーザーが修正することも可能です。

これまでは、テストの変更履歴を後から追いやすくするには、分かりやすい変更メッセージを人間が考え作成する必要がありましたが、生成AIを使うことで、この作業にかかる時間を削減することができます。また、変更メッセージが簡単に作成できることで、より多くのユーザーが意味のある変更メッセージを記述するようになり、履歴の追跡がより簡単になります。

変更前と変更後のテストスクリプトをMagicPod Public APIで人間の読みやすいテキストとして取得し、それを生成AIで要約

データの学習について

生成AIの学習設定は無効になっており、お客様のテストスクリプトなどの情報が生成AIの学習に利用されることはありません。

利用方法

MagicPodの有料プランをご契約のユーザー様はプラン内容に関係なく、追加料金なしでお使いいただけます。ただし、機能を有効にするために、ご利用の際は組織の所有者による事前申請が必要です。ご利用を希望されるユーザー様は、組織の所有者アカウントにてMagicPodにログイン後、サービス内の画面右下の「お問い合わせ」フォームより以下の情報を送信してください。

タイトル：生成AI機能利用申請
本文：利用するMagicPod組織名

ご本人様確認のため、ログイン後のサービス内フォームからのお申し込みが必要になっております。

組織に対して生成AI機能を一度有効にすると、無効に戻すことは原則できませんのでご了承ください。

有効化するまでに1-3営業日程度お時間をいただいておりますのでご了承ください。

要約の精度が上がるMagicPodテストの書き方

人間にとって理解しやすいテストスクリプトにすることで、生成AIにとっても扱いやすいスクリプトになり、要約の精度が上がります。具体的には、次の3つが効果的です。

テストスクリプト内を空行で区切っていくつかのセクションに分け、各セクションの先頭行にそのセクションで何をしているかを表す概要コメントを入れておく
テストステップ内で使用している画面要素名が「領域1」のようなわかりにくい名前になっている場合は、「登録ボタン」のような読みやすい要素名に変更しておく
同じテストスクリプト内の表記は、「日本語」または「英語」で統一する

プロンプト公開

上記新機能に内部で利用しているプロンプトを公開します。本プロンプトはChatGPT3.5で動かすことを前提にしています。

「テストケース要約機能」で使用しているプロンプト

以下のブラウザテストのユーザーフローを短く(300文字以内)日本語で要約してください。:

[テキスト形式のテストスクリプト]

「テスト変更内容要約機能」で使用しているプロンプト

以下はブラウザテストのスクリプトの変更前と変更後の内容です。

変更前:

--------

[テキスト形式の変更前のテストスクリプト]

--------

変更後:

--------

[テキスト形式の変更後のテストスクリプト]

--------

この変更の、100文字以下の短い変更コメントと、200文字以下の長い変更コメントを日本語で作ってください。

結果は、

{

"s": "短いコメント",

"l": "長いコメント"

}

のJSON形式で返してください。

プロンプトの利用方法

以下の手順で、MagicPodのテストスクリプトを生成AIで要約する手順を実際に手元で再現いただけます。プロンプトを色々調整して遊んでみてください！

MagicPodのWeb APIの利用手順(https://support.magic-pod.com/hc/articles/28160772587417)に従い、Web APIのページに「APIトークン」を入力します。

「/v1.0/{organization_name}/{project_name}/test-cases/{test_case_number}」のWeb APIを、「組織名」「プロジェクト名」「テストケース番号」を指定して実行します。

実行結果内の「human_readable_steps」が、プロンプト内の「テキスト形式のテストスクリプト」に相当します。テキスト内の「\n」を改行文字に、「\"」を「"」に置換し、両端の「"」を削除した上で、プロンプトの[テキスト形式のテストスクリプト]部分を置き換えます。

上記プロンプトをChat GPTなどの生成AIのWebインタフェースから実行することで、要約結果を得ることができます。(お客様のテストデータがAIの学習に利用されないよう、利用する生成AIはデータの学習がされない設定にしておいてください。)
※モバイルアプリテストの場合は、プロンプト内の「ブラウザテスト」を「モバイルアプリテスト」に変更してください。
※「変更内容要約」のプロンプトを試す場合は、変更前のテストスクリプトをAPIで取得した後、テストケースを変更し、変更後のテストスクリプトを再度APIで取得してください。

AIテスト自動化プラットフォーム「MagicPod」について

「MagicPod」は、モバイルアプリテスト、ブラウザ(ウェブアプリ)テストの両方に対応したAIテスト自

動化プラットフォームです。プログラミングなどの特別なスキルがなくても直感的に使うことのできるデザイン、クラウドでのサービス提供によるメンテナンス性の高さ、AI技術を活用した自動修正によるテストプログラム修正の手間削減などによりリリースサイクルの高速化を支援します。IT業界のリーディングカンパニーを中心に累計500社以上の企業が導入しています。

「MagicPod」公式サイト

https://magicpod.com/

「MagicPod」導入相談・2週間無料トライアルのお申込み

https://magicpod.com/consulting/

「MagicPod」コンセプト動画

https://magicpod.com/resources/introduction-movie/