”AIが日報を10秒で12指標リアルタイム評価”。日報・振り返りツールのリフレクトはChatGPTを用いたAI評価機能をリリース。利用者は即時自分の強み・弱みを可視化しながら業務改善をすることが可能。

株式会社リフレクトは2023年3月にAIコーチをリリース。アドバイスや問いかけの自動化を進めてきました。日報を経済産業省提唱の社会人基礎力12項目において、リアルタイムに評価する機能を搭載しました。

株式会社REFLECT

2023年9月12日 06時00分

＜背景＞

・ChatGPTをはじめ、2023年は大規模言語モデルLLMが普及し、様々な変化が起きています。人事領域においても、採用、育成、配置、労務など様々な領域でAIによる自動化が進んでいます。

・株式会社リフレクトは、2023年3月に振り返り・日報システムにChatGPTのAIコーチを取り入れ、いち早く人材開発、従業員のオンボーディングの領域でAI活用を進めてきました。

＜”withAI時代到来、チームにAIコーチを”。自立学習を支援する振り返り共有ツールのリフレクトは、国内初となるChatGPT搭載AIコーチ（リフレクこ）をリリース。AI導入後ツール利用時間は2倍に。＞

https://prtimes.jp/main/html/rd/p/000000004.000095716.html

・振り返りや日報を行うことは、成長に寄与することはいくつかの研究で明らかになっています。しかし、その振り返りや日報自体を評価し、改善点をアドバイスをするのは今までは人間が中心であり、いくつかの課題を抱えていました。

人間の場合は、時間当たりの評価数（情報処理数）に限界があること、評価者の知識や経験によるばらつきがあるため評価者によるばらつきが生まれてしまうこと、評価者の疲労による評価の質が下がってしまうこと、評価者の感情によるバイアスが発生してしまうことです。

一方で、AI評価もデータ化された情報からしか評価ができないという課題があります。

しかし、日報評価など、限られたデータのみを評価すれ良いケースについては、

AI評価が人間に近い形で評価ができ、質が担保されれば、AI評価は上記の様なメリットを持っているため活用することができます。

そこで、AI評価の精度についてリフレクトの振り返りデータ（研究開発のため許諾済み）を用い、精度検証を行いました。研究用に許諾済みのリフレクトの日報データ100サンプルを抽出し、経済産業省が提唱する12項目において5段階尺度でレベルが定義化されたルーブリック設問を用意。人間2名とAI（ChatGPT）で評価を行いました。結果、AIの評価が人間の評価に近いことが判明しました。

例えば、言語化力については、人間とAIの評価の相関係数が0.8、課題分析力については0.6などでした。

また、GPT-3.5とGPT-4で比較したところ、精度が上がったといわれているGPT-4の方が、人間との評価との相関係数が高い傾向となりました。

クロス集計で確認をすると、課題分析力については、下記の通り人間評価とAI評価の差が±1を許容した場合、±1以下に収まっているケースは全体の98%でした。