はじめに
ベネッセ教育総合研究所の堂下雄輝，渡邊智也が，2022年8月26日から9月4日にかけて行われた日本テスト学会第20回大会において研究発表を行いました。以下，その内容を簡単にご紹介します。
背景・研究の目的
では，そのガイドラインとはどのようなものでしょうか。最も知られている “Haladyna & Rodriguez, 2013” のガイドラインは全部で29個の事項から成り，内容はたとえば以下のようなものです。
私たちは，このようなガイドラインは「実用」という点において問題があると考えました。なぜなら，非常に抽象的な記述であるからです。たとえば，#1の「ある一つの能力」とは具体的にどのような能力があるのか，#20_dで言及されているような「選択枝の内容から正答を絞り込める」選択枝には「両立しない選択枝」以外にどのようなものがあるのか，#20_fの「等質」とはどういうことか……ガイドラインに汎用性を持たせるために仕方のないことではありますが，実際に作問する際に，抽象的な記述のままでは作問者によって解釈に揺れが生じかねないのです。つまりガイドラインを実用的な物にするには，作問者が共通して了解可能な程度まで具体的に解釈された記述が必要だと考えました。
方法
また，各問題について，どのように考えて解答したのかを尋ねるアンケートも実施しました。アンケート項目の詳細は表２に提示しています。
結果・考察
ガイドライン１ 「各設問は，一つの主題語について，その意味を理解しているかどうかを問うこと．特に，主題語より難しい，あるいは同等の難しさの語を正答としないこと．」
結果は，総じて正答率が低くなったものの，識別力はやや上がる傾向にありました。非準拠問題のトレースライン※３から，特に下位層の正答率が低い傾向が見られました。下位層の正答率が低下したことが，非準拠問題において識別力がやや向上した要因の一つと推測しました。図２に提示した問題はその傾向が顕著であり，アンカー得点の最下位層では最上位層と比較して10ポイント強低下していました。さらにアンケートで③（何らかのテスト方略の使用や推測）を選んだ割合が準拠問題に比べ12ポイント高く，受検者の一部は正答枝の意味が分からなかったため，消去法などを用いて解答した可能性があります。
ここから，主題語より難しい，あるいは同等の難しさの正答枝は，特に下位層にその選択を忌避させ，結果として正答率を押し下げる可能性が示唆されました。また何らかのテスト方略を使う動機づけを高める可能性も示唆されました。
ガイドライン20_d 「選択枝の内容から正答を絞り込めることのないようにすること．ペアとなる選択枝を使用する場合，ペアを複数使用すること．」
ペアと認識できる選択枝がある場合，受検者はそのペアのどちらかが正答であると予想しがちと思われるため，正答のペアとなる選択枝（以下ペア枝と表記）の選択率と正答率が上がり，識別力は下がると予測しました。
しかし結果は，総じてペア枝の選択率・正答率・識別力ともに顕著な差がなく，予測に反するものとなりました。ただし図３の問題（主題語「マクロ」）では，非準拠問題において正答枝とペア枝の双方の選択率が高く，予測に従う傾向が見られました。ここでは「巨視的（正答枝）」「微視的（ペア枝）」と，正答枝とペア枝が正反対の表現であり，その選択枝が隣接していました（正答枝②，ペア枝③）。
一方でその他の問題は，「提案を頑なに断ること（正答枝）」「気軽に提案を受け入れること（ペア枝）」のように（項目1：主題語「固辞」），ペア枝が正反対の表現とは言えず，選択枝の並びも正答枝とペア枝で隣接していませんでした。加えて，本テストはモニターテストへの参加というローステイクスな受検であったため，回答の際，選択枝同士を慎重に見比べて正答を探すことへの動機づけが低かったと考えられます。そのため受検者が選択枝のペアを認識しづらかったことが，全体の条件差が見られなかった要因である可能性があります。逆に，ハイステイクスなテストなどで，ペア枝が正反対の意味であったり，隣接していたりするなどして，明確にペアとして認識しやすいときに，解答傾向に影響が生じる可能性があると推測します。
ガイドライン20_f 「選択枝間で異質なものを排すること．」
選択枝間で異質なもの（以下「異質枝」と表記）がある場合，その選択枝は誤答と判断されやすくなり，正答率は上がり，識別力は下がると予測しました。
しかし結果は両指標とも顕著な条件差はなく，予測に反するものとなりました。ただし図４の問題については準拠問題の方が識別力が高いという結果でした。これは，非準拠問題の異質枝の代わりにある準拠問題の誤答枝が，下位層で比較的多く選ばれていたためと考えられます。また非準拠問題の異質枝の選択率は，８つの問題すべてで最も低いという結果でした。
ここから，異質枝は選択されづらい傾向にあり，異質枝を問題に組み込むことで正常に機能する誤答枝が排除される可能性が示唆されました。
まとめと今後
今回の検証では，ガイドライン１からの逸脱によって正答率が押し下げられたこと以外は，正答率・識別力に大きな差は見られませんでした。しかし一部の問題のペア枝の選択率の高さや異質枝の選択率の低さからは，ガイドライン逸脱の影響が見られたという結果になりました。今回作ったガイドラインの効果は，限定的ではありますが確認できました。今後さらにガイドライン事項を増やして検証していく予定です。また，ガイドラインから逸脱することの影響プロセスを明らかにするために，受検者が「何をどのように考えて問題を解いているのか」をインタビュー調査などから観察することも必要と考えています。
注
※１ 1978年以降，東京大学の芝祐順先生たちが開発した「語彙理解尺度」をベースとしています。
※２ その問題が受検者の能力を弁別できる程度のことで，テストの信頼性を高めるために確認すべき指標の一つです。ここでは，その問題の正誤と，「アンカー問題」として全受検者に共通に出した25問の正答数との相関係数を「識別力」としています。
※３ 受検者を「アンカー問題」の正答数でグループ分けし，各グループにおける各選択肢の選択率を縦軸に，そのグループの平均得点を横軸にプロットしたものです。問題の結果の特徴を視覚的に捉えることが可能であり，結果検証に非常に役立ちます。
この記事の引用文献
石井 秀宗・荒井 清佳・坪田 彩乃・安永 和央・寺尾 尚大（2021）. テスト問題作成ガイドラインの開発（１）――日本での普及に向けた整理―― 日本テスト学会第19回大会発表論文抄録集, 92-95
Haladyna, T. M., & Rodriguez, M. C. (2013). Developing and validating test items. Routledge.
坪田 彩乃・石井 秀宗（2020）. 多枝選択式問題作成ガイドラインの実証的検討 日本テスト学会誌, 16, 1-12.
