開催日
2012年7月10日
会場
Marriott Cornhusker Hotel（米国ネブラスカ州リンカーン）
発表タイトル
Setting a Target Test Information Function for Assembly of IRT-Based Classification Tests (2)
（IRTに基づく合否テスト構成のための目標テスト情報関数の設定について(2)）
発表者
加藤 健太郎
概要
テスト構成（test assembly）とは，そのテストが一定の測定精度を持つように項目プールから最適な項目のセットを選び出す作業です。IRTによって構成されるテストのスコア（能力値）の精度はテスト情報関数（test information function; TIF）で表されますが，テスト構成にあたってはそのTIFの目標値を設定する必要があります。通常この目標値はどの能力レベルでどの程度の精度が出ればよいのか（能力値の推定の標準誤差の大きさ），手持ちの項目でどの程度のTIFを持つテストが構成できるのか，といったことやこれらの見当に基づくシミュレーションによって試行錯誤を繰り返しながら設定されますが，一定の条件を与えればある程度の目標値を系統的に求められる方法があると便利です。本研究では，特に合否の二値判定を目的とするテストの構成において，許容される誤判定率（真の能力値が合格／不合格レベルなのにテスト結果が不合格／合格になってしまう理論的確率）が一定以下になるようにTIFを定める方法を提案しました。なお，本研究は昨年のIMPSで行った同テーマの研究で提案した方法を再考し，より実用的な結果となるように改変したものです。
どのようなTIFが最適なのかということを定量的に評価するために，合否判定という問題を「統計的決定理論」の枠組みで定式化しました。この枠組で一定の決定ルールと損失関数を用いると，合否判定の「リスク関数」は真の能力値が与えられたときの条件付き誤判定率となります。また，能力値の分布でその期待値をとったものは「ベイズリスク」と呼ばれ，これは全体での誤判定率となります。一般的な決定理論ではベイズリスクが最小になるように決定ルールを定めますが，今回の問題ではベイズリスクが一定以下になるようなTIFを求めるのが目的となります。
ここで，求めるべき未知のTIFに一定の関数形を仮定しました。合否判定値で最大となり，そこから離れるに従って小さくなる単峰型になるものが実用上は有用です。同時に，リスク関数も合否判定値で最大となり，離れるに従って小さくなるのが自然です。このような条件を満たす関数形を試行錯誤したところ，結果的に能力値の二乗に定数を加えたものの逆数の形が要件を満たし，かつ最も扱いやすいと判断しました。
このTIFはその「広がり」を決めるパラメータ（上記の「定数」の部分）が未知なので，ベイズリスク（全体の誤判定率）が予め定めた値以下になるようにこれを計算で求めます。また，その際に能力値の母集団分布の平均も必要となります。従って，誤判定率と母集団平均の2つの値を定めれば，自動的に最適なTIFを求めることができるということになります。
上記の値を様々に変えてTIFを求めてみたところ，いずれも十分実用になり得るTIFが得られました。誤判定率を小さくするほど，また能力値の母集団平均が合否判定値に近くなるほど多くの情報量が必要となります。もちろん，最終的に目標TIFを定めるためには手持ちの項目の性能や，合否判定以外のテストの目的（スコアのレポートの有無等）も考慮する必要があります。しかし，ゼロからTIFの設定を始める場合に，本研究の提案する方法は一定の設定基準を提供する有効なツールとなり得ると考えます。
発表原稿
