電話を使った英語スピーキングテストTSSTの「品質」をアカデミックに研究した結果を報告－『アルク英語教育実態レポート』11月14日発表
言語テストの専門研究者が学術的な手法を使って「TSST」5406件のデータを詳細に分析。TSSTの採点者の質、タスクの難易度、スコアの出し方、受験者の能力の引き出し方など多方面から評価
株式会社アルク（東京都千代田区 代表取締役社長：安嶋 明、以下アルク）の語学教育専門研究機関「アルク教育総合研究所」は、11月14日に『アルク英語教育実態レポート（Vol. 10) Telephone Standard Speaking Test (TSST)の妥当性』を発表しました。
【分析対象】
2015～2016年に実施したTSSTデータを分析した。受験者5,406名、採点者32名、タスク771問の採点データが含まれる。
【分析手法】
分析は、Facets (Version 3.71.4; Linacre, 2014) の評価尺度モデルを用いて多相ラッシュ分析を行った。受験者、タスク、採点者の3相を含めた。
【分析結果】
分析を通じて、以下のような課題に応えようとした。
(1) スコアの全体の分散は、多相ラッシュ分析によってどの程度説明されるか
(2) 採点者の厳しさに違いはあるか
(3) 採点者内の一貫性は高いか
(4) タスクの難易度は意図通りか
(5) タスクが測る能力は一貫しているか
(6) 受験者の能力推定値は、安定しているか
(7) TSSTスコアの出し方は適切か
(8) 受験者は、複数のタスクでの反応や複数の採点者による採点の点で、一貫した能力を示しているか
(9) ルーブリックのレベルは十分に弁別されているか
(10) ルーブリックは受験者を十分に弁別できているか
(11) 採点者とタスク、採点者と受験者、タスクと受験者の間に偏った評価傾向は見られるか
◆採点者について
採点の厳しさの度合いで32名は2グループに分かれたが大きな開きはないこと、一人の採点者に注目しても採点の一貫性は非常に高く保たれていることが分かった。
◆タスクについて
タスクの難易度は2層に分かれ、テスト制作側の意図通りになっているといえる。しかし、タスクは10個あるので、もう少し異なる難易度のタスクを入れることが、より精密にスピーキング能力で受験者を分けるための一つの改善方法になると思われる。
◆TSSTスコアの出し方について
多相ラッシュ分析を用いて算出した受験者能力値と、採点者3名の判断によるTSSTスコアの相関関係を調べたところ、非常に強い関係が見られた (r = .95)。そのため、多相ラッシュ分析による推定値と、3名の採点者の採点に基づき決めた最終スコアは一貫しており、TSSTスコアの算出方法は適切であると考えられる。
◆受験者について
受験者が10問への回答で一貫した能力を示しているかを、受験者のインフィット平均平方値を用いて検討したところ、「アンダーフィット」と判定された受験者が多い傾向があった。これは、スピーキング能力が低目だがいくつかの難し目のタスクでは高得点だった、またはその逆の場合がある、ということである。該当タスクに関しては再検討してみる必要があると思われる。
【アルク英語教育実態レポート】
URL：https://www.alc.co.jp/press/report/pdf/alc_report_20171114.pdf
URL：https://www.alc.co.jp/company/report/（アルク調査レポート）
URL：https://www.alc.co.jp/company/pressrelease/ (プレスリリース)
＜本件に関する報道関係者向けお問合せ先＞
アルク 広報担当 河合（かわい）
e-mail:ko-ho@alc.co.jp
TEL:03-3556-2711 (平日 9:00～18:00)
[アルクとは]
アルクは、1969年4月の創業以来、企業理念として「地球人ネットワークを創る」を掲げ、実践的な語学力を身につける教材の開発をすすめてきた語学教育総合カンパニーです。創刊から45年を超える『ENGLISH JOURNAL』など学習情報誌をはじめ、受講者数延べ120万人の通信講座「ヒアリングマラソン」シリーズ、書籍、研修、ｅラーニング教材、各種デジタルコンテンツの提供など、語学分野における学習者向けの様々な支援を行っております。URL：https://www.alc.co.jp/
すべての画像
