開催日

2013年7月23日～26日

会場

Musis Sacrum（オランダ・アーネム）

発表タイトル

Use of Crude Prior Information for Item Parameter Estimation in the Item Response Theory（IRTの項目パラメタ推定のための粗事前情報の利用について）

発表者

加藤 健太郎

概要

項目反応理論（IRT）における項目パラメタの推定には相当数の項目反応データが必要です。ベイズ推定の文脈では、項目パラメタに関する事前情報を加味することで、推定の精度を向上させることが期待できます。逆に言うと、同程度の推定精度を確保するのであれば、事前情報を利用することによって受験者数を少なく抑えることができる可能性があります。

項目パラメタ推定に利用される事前情報にはいくつかの種類が考えられますが、ここでは専門家や作問者による各項目の評価を事前情報と捉えます。ベイズ推定においては、事前情報を「事前分布」という確率分布として表現する必要があります。従来の方法では、各項目について正答率を数値で予想してもらい、それを項目パラメタの事前分布に変換していましたが、これは時間のかかる作業であり、特に大量の項目がある場合には実用的ではありません。そこで本研究では、事前情報を正答率のような具体的な数値ではなく、「易しい」「普通」「難しい」のような単純な難易度評定で与えるものとし、そうした事前情報を利用することで項目パラメタの推定精度が向上するかどうかを実際のデータに基づいて検討しました。

分析では、IRTの2パラメタ・ロジスティック・モデルに階層ベイズ推定を適用しました。事前の難易度評定に基づいて項目をレベル分けし、項目パラメタにレベルごとに固有の事前平均を仮定したモデルと、すべての項目パラメタに同じ事前分布を仮定したモデルで別々に項目パラメタを推定し、精度を比較しました。

結果を見ると、レベルごとの項目困難度の事前平均は評定を反映したものとなりましたが、各レベル内では困難度のばらつきが大きく、期待されたような推定精度の向上は見られませんでした。モデルの構造上、事前の難易度予測がより正確になれば、推定精度が向上することが期待されます。そこで、評定者に実際の正答率をフィードバックして再検討してもらうなど、予測精度向上のための努力が必要であると考えられます。また、最適なレベル分けの数や、複数の専門家から評定が与えられた場合への対応なども今後の検討事項と考えます。

発表原稿

Use of Crude Prior Information for Item Parameter Estimation in the Item Response Theory[PDF]