開催日
2015年9月10日～11日
会場
関西大学
発表タイトル
論述採点の正確さと所要時間に関する研究
発表者
野澤 雄樹 （共同研究者 ： 堂下 雄輝 ／ 島田 研児）
概要
2015年9月10日～11日に開催された日本テスト学会第13回大会で、「論述採点の正確さと所要時間に関する研究」と題した発表を行いました。
この研究は、「論述式問題を含むテストを開発・運用していくためには、採点の正確さと所要時間に関するデータが不可欠である」という現実的な必要性から行ったものです。大学入試改革に関連して、記述・論述式問題の採点に関心が高まっていることもあり、会場から多くの質問やコメントをいただくことができました。以下に研究の概略を紹介します。
.データの収集.
アセスメント研究開発室が作成した論述式問題（制限時間50分、解答字数の目安は 600字程度）を大学生に実施し、205枚の答案データを収集しました。外部から4人の採点者を確保し、事前研修を行ったうえで、これらの答案を同じ順番で採点してもらいました。一部の答案（80枚）については、採点に要した時間も記録してもらいました。また並行して、この問題の開発者も同じ採点基準ですべての答案を採点し、開発者の目から見て正しいと思われるスコア（基準スコア）を算出しました。
.主な結果.
正確さの分析では、採点者が付けたスコアが基準スコアと同じであれば1、異なれば0の値をとる変数を作成し、その変数が1である割合（一致率）を採点者ごとに調べました。全答案に対する一致率（平均的な採点の正確さ）は、高い採点者で77％、低い採点者で52％であり、採点者間で差があることがわかりました。次に、採点の進行に伴う一致率の変化を一般化加法モデルで分析したところ、採点者ごとに異なるパターンが示され、共通した傾向は見出せませんでした。
所要時間の分析では、所要時間を応答変数とした回帰分析を採点者ごとに行いました。その結果、（1）所要時間は採点の進行とともに短くなる、（2）答案の文字数が多いほうが所要時間は長くなる、（3）中程度の出来の答案のほうが所要時間が長くなる、（4）採点に自信があると感じた答案では所要時間が大幅に短くなる、という傾向が4人の採点者に概ね共通して見られました。また、全答案を平均すると、速い採点者は1枚の答案につき2分15秒、遅い採点者でも2分45秒で採点していることがわかりました。
.得られた示唆.
今回の研究結果を見る限り、採点者はかなり短い時間で採点を行っていることがわかりました。また、事前研修しか行っていないにもかかわらず、4人の採点者のうち1人は基準スコアとの一致率が77％、2人は70％前後であったことから、採点の正確さは思った以上に高いという印象を受けました。一方で、一致率が52％の採点者もいたことから、完全に採点者任せにすることはできず、何かしらの介入が必要であることが示唆されました。今回は一度採点した答案は再採点できないという条件で採点を行いましたが、後から採点を変更できる形にすると、結果は変化すると思います。また、出題する論述式問題や採点基準を変えると、結果が大きく変わる可能性があります。今回の研究は、膨大な組み合わせがあるうちの1つの事例であり、今後の研究の積み重ねが求められます。
発表原稿も併せてご覧ください。
発表原稿
