AIとの協働の質を測る指標「AI協働力」の評価設計を無償公開 — 116万件の評価データをもとに、5領域・13観点で標準化
料金体系の転換により「使った量」はKPIとして成立しなくなった。量から質への転換に必要な、共通の物差しを公開
株式会社ハイヤールー（本社：東京都渋谷区、代表取締役：葛岡宏祐）は、エンジニアがAIエージェントとどれだけ上手く協働できているかを評価する独自指標「AI協働力」の評価設計を無償公開しました。
当社は採用領域のコーディング試験を通じて、300社超・116万件の評価実績を積み上げてきました（2026年7月時点）。この蓄積をもとに、AIとの協働の質を5つの領域・13の評価観点で標準化したものが「AI協働力」です。
評価の対象は、AIが出した成果物ではありません。実際の開発セッションの行動データ——本人がAIに何をどう指示し、どこで確認し、どこで判断を変えたか——という、人間側のプロセスです。
あわせて、評価体系の全容を解説したホワイトペーパー『AI協働力 — 100万件の評価データに基づいた、AI時代のスキル指標』を無償で提供し、2026年9月3日（木）にオンラインセミナー『AI協働力は量から質へ——生産性の差を生む"AI活用の質"の見極め方』を開催します。
■背景：「使った量」は、もうKPIとして成立しない
生成AIコーディングツールの導入は、もはや当たり前になりました。使うかどうかが論点だった時期は終わり、次に各社が着手したのは「量」の計測です。 トークン使用量や利用回数を可視化し、活用度のKPIに据える動きが広がりました。
しかし、量は成果を説明しませんでした。
海外では、社内のAI利用量をランキング化した企業で現場の反発が起き、年間のAI予算を数ヶ月で使い切った事例も報じられています。Google や Stanford などの調査データを重ねても、消費量と生産性は一致しません。 当社が20本超の一次情報・学術論文を精査した結論も同じでした。「たくさん使う人」は、必ずしも成果を出す人ではありません。
そこに料金体系の転換が追い打ちをかけました。 2026年6月、Anthropic と GitHub Copilot が相次いで料金体系を見直しています。消費量がそのままコストに跳ね返る構造がより明確になり、組織として「たくさん使うこと」を推奨しづらくなりました。 量を増やす方向のKPIは、コスト管理と正面から衝突します。
成果を説明せず、増やせばコストが増える。 量をKPIに置く前提は、これで二重に崩れました。残るのは「同じ課題に、どれだけ的確に到達したか」という質だけです。
ところが、その質には共通の物差しがありませんでした。海外では Anthropic「4つのD」や CoderPad「5 Skills」といった評価枠組みの提案が出始めていますが、日本の開発現場でそのまま使える標準はまだ存在しません。
■「AI協働力」の評価設計
AI協働力は、当社の独自指標「SEI（Software Engineering Index）」を構成するドメインのひとつです。実際の開発セッションの行動データから、次の5つのサブ領域・計13の評価観点を、検出条件とルーブリックに基づいて採点します。
|
評価領域 |
何を見るか |
|---|---|
|
意図の仕様化 (Intent Specification) |
何を作りたいのかをAIに伝わる形で言語化できているか。前提・制約・受け入れ条件をどこまで明示しているか |
|
環境構築 (Environment Engineering) |
AIが正しく動くための土台を整えられているか。参照させるドキュメント、接続するツール、用途ごとのモデルの使い分け |
|
共同推論 (Co-Reasoning) |
AIとの対話を通じて問題を解けているか。仮説を出させ、検証し、方針を修正していく往復ができているか |
|
実行の統制 (Execution Control) |
AIの実行をどこまで統制できているか。どこで止め、どこを承認し、どこを差し戻すか |
|
出力の品質保証 (Output Quality) |
出てきたものの妥当性を検証できているか。テスト、レビュー、受け入れの判断 |
評価するのは、AIの出力ではなく人間の指示と判断
この指標が測っているのは、AIが書いたコードの出来ではなく、人間の指示と判断そのものです。この設計には2つの意味があります。
1つ目は、AIモデルの性能向上でスコアが上がらないことです。 評価対象が人間側にあるため、モデルが世代交代しても物差しは変わりません。純粋に「人のスキル」を測り続けられます。
2つ目は、人の行動が変わらないかぎりスコアが動かないことです。 ツールを入れ替えても、承認の操作を増やしても、本人の指示や検証の仕方が実際に変わらなければ、スコアは動きません。
実データで最も低いのは「共同推論」
当社の評価データにおける5領域の平均スコアは以下のとおりです。
|
評価領域 |
平均スコア |
|---|---|
|
意図の仕様化 (Intent Specification) |
67.3% |
|
環境構築 (Environment Engineering) |
57.6% |
|
共同推論 (Co-Reasoning) |
48.6% |
|
実行の統制 (Execution Control) |
69.7% |
|
出力の品質保証 (Output Quality) |
61.3% |
※当社SEI評価データより（2026年7月時点）
最も低かったのは「共同推論」——AIとの対話を通じて問題を解く力——で、48.6%でした。 一方で「実行の統制」（69.7%）や「意図の仕様化」（67.3%）は比較的高い水準にあります。
つまり、要件を言語化してAIに渡し、出てきた結果を管理することはできている。しかし、AIと共に考えて答えの精度を上げていくことができていない。 一度指示を投げ、返ってきた出力を人が手で直す——という使い方に留まっているエンジニアが多数を占める、ということです。
裏を返せば、ここが最も伸びしろの大きい領域です。同じツール・同じモデルを使っていても、この一点の差が成果の差になります。 量を絞りながら成果を上げるには、まずここから手を付けることになります。
■ホワイトペーパーを無償で提供
評価体系の全容を解説したホワイトペーパーを提供しています。5つのサブ領域・13評価観点の設計と検出条件・ルーブリックの仕組み、そして2万件超の実スコア評価が示す「差がつく場所」を掲載しています。
-
タイトル：AI協働力 — 100万件の評価データに基づいた、AI時代のスキル指標
-
想定読者：EM・技術責任者、採用・人事責任者、評価設計担当
-
仕様：PDF・18ページ（想定読了時間 約10分）
-
費用：無償
■オンラインセミナーを開催
-
タイトル：AI協働力は量から質へ——生産性の差を生む"AI活用の質"の見極め方
-
日時：2026/09/03（木）12:05–13:00
-
形式：オンライン（Zoom）・参加無料
-
対象：エンジニアリングマネージャー、採用・人事担当者、経営層の方
-
内容：AIが個人の実力の増幅器となるなかで、成果だけで実力を見極めることがなぜ難しくなったのか。海外の調査事例と当社の評価データをもとに、AI協働力の評価基準と評価方法を解説します
-
お申込み：https://hireroo.io/events/ai-collaboration-quality-shift/
■代表取締役 葛岡のコメント
AIを配り終えた企業が次にやったのは、使用量の可視化でした。しかし量は成果を説明せず、そして料金体系が変わったことで、量を増やす方向のKPIはコスト管理と衝突するようになりました。問われるのは「どれだけ使ったか」ではなく「どれだけ的確に使えたか」です。
ところが我々の評価データでは、その質の中でも最も低いのが「共同推論」——AIと対話しながら問題を解く力——でした。指示は出せる。管理もできる。けれども、AIと一緒に考えることができていない。測れないものは改善もできません。
だから我々は、評価設計そのものを公開することにしました。この指標が当社の中だけで使われるより、業界の共通言語になったほうが、日本の開発組織全体が前に進むと考えています。 「Japan as No.1, again. 日本をもう一度、『モノづくり』で一番へ。」というミッションの実現に向けて、AI時代のエンジニアリング組織づくりを支援してまいります。
■HireRooについて
『HireRoo』は、AIと協働して成果を出す力「AI協働力」を可視化する、エンジニアリング組織向けプラットフォームです。独自指標「SEI（Software Engineering Index）」は、NTTドコモ、三井住友カード、freeeをはじめとする300社超に導入され、評価実績は116万件を超えています（2026年7月時点）。採用（Skill Interview）から在籍エンジニアの評価（Skill Assessment）までを、一貫した指標で支援します。
受賞歴
-
「HONGO AI 2023」最優秀賞
-
「ICCサミット FUKUOKA 2023｜SaaS RISING STAR CATAPULT」優勝
-
「ASPICクラウドアワード2023」奨励賞
-
「第8回 HRテクノロジー大賞」
-
「ICCサミット FUKUOKA 2025｜ガーディアン・カタパルト」優勝
■会社概要
|
会社名 |
株式会社ハイヤールー |
|
所在地 |
東京都渋谷区道玄坂1-10-8 渋谷道玄坂東急ビル2F-C |
|
代表者 |
代表取締役 葛岡 宏祐 |
|
設立 |
2020年12月10日 |
|
事業内容 |
インターネットサービスの企画・開発 |
|
運営URL |
【本件に関するお問い合わせ先】
株式会社ハイヤールー 広報担当
E-mail: contact@hireroo.io TEL: 03-6774-7093
すべての画像
