私が勤務する長崎大学で実際に行われている面接と小論文（自己推薦書を含む）の検証手法の一部を紹介する*1 。選考結果を検証する際に、確認するポイントは３つ。
　まず、採点者間の評定一致度と評価の安定性の検証。採点者間であまりにも評価の基準が異なる評価項目がないかを確認する。実はこれによって、学部ごとのAO入試向きの設問（質問）内容が見えてくる。
　次に、受験生間の点数のばらつきがどんな原因で起こるのかという誤差評価。次のような原因が考えられる。①受験生の能力を識別できた、②採点者によって点数に差がつきすぎた、③評価項目間で難易度にばらつきがあった、④受験生と採点者の相性が影響した、⑤受験生と評価項目の相性が影響した、⑥一部の採点者が項目によって、点数差を大きくしたり全員を同じ点数にしたりといった不規則な評価をした。
　好ましくないのは、ある採点者は1〜10と大きく差をつけて評価し、別の採点者は全員を５にするという具合に、採点者間のばらつきが誤差要因になっている場合で、大きな点数差をつける採点者の意向で合格者が決まることが起こり得る。
　最後に、寄与率の確認。選考資料として組み合わせたもののうち、どれがどの程度、合否を決定する合計得点に影響を与えているか算出する。それによって、アドミッション・ポリシー（AP）との齟齬が生まれていないかを確認し、修正を加えたりする。
　こうした一連の検証作業を通し、次年度の選考方法を見直す。