*みなさまの声をお聞かせください!*

評価・テストは、学習者の理解度を測るだけではなく、教授法を振り返る機会にもなります。しかし、一方で妥当性や弁別性など様々な観点から、その方法には注意が必要です。普段から行われている「評価・テスト」について、今一度議論を深めます。


2019.02.15 update

けんたろう先生のレクチャーのもと、コミュニケーション能力を測るテストを作ることになったマナブ。前回のお話はこちら。今回は、テストの目的・用途を決めるところから始まるようですよ。

こんにちはマナブさん。さあ、楽しい楽しいテスト作りに入りますよ!
前回もお伝えしましたが、テスト作成のステップは、このような内容でしたね。

テスト作成のステップ

テスト作成のステップ

よろしくお願いします。初めてなので、ドキドキです…。

大丈夫ですよ。もちろん私も一緒に進めますし、大変なところは、私が所属する研究所のメンバーにも手伝ってもらえることになりましたから。

あ、ありがとうございます…。

Topへ戻る

テストの「目的」や「用途」を精査する

さて、前回もお伝えしたように、テスト作りはまず、テストの 目的や用途を明確にする ことから始まります。
マナブさんは、テストを何に使うのでしょうか。そのために何を測り、そして、誰を測るのでしょうか。整理できましたか?

一応、考えてはきました。
目的は、 自分のコミュニケーション能力が、社会に出たときに通用するのか、どのレベルにあるのかを知ること です。自己理解とか、現状把握とかのためです。

なるほど。では、社会に出たときには、特にどのようなコミュニケーション能力が求められると思いますか?

えっと。何だろう。コミュニケーションといえば、 「自分の考えを伝える力」 と、「相手の考えを受け取る力」の両面 があるように思いますが、仕事で、特に新社会人だと、 伝える力の方が大事 なのかな? 報告・連絡・相談を上手にするのも、伝える力、ですよね?

確かにコミュニケーション能力にはいくつもの要素があり、広い概念ですよね。概念が広すぎてモヤモヤするようなときは、 絞ってみるのも1つの方法 です。新社会人の伝える力に絞ると、分かりやすそうですね。
ちなみに、「伝える」というと、一般的には、言語と非言語の2種類の手段があるといわれています。非言語手段は、表情やジェスチャーなどですね。

言葉で伝える力は必須ですよね。あとは表情やジェスチャーですか…。うーん、仕事だと、表情とかで伝える力っていうのは、必須というほどでもないような気が。たとえクールでも、言葉でちゃんと伝える方が大事そうな気がするのですけど、僕は。

では、さらに絞れましたね。

あ、本当ですね! そうなると、何を測るのかは、 「言葉で、自分の考えを伝える力」 ですね。誰を測るかは、 新社会人予備軍の、僕たち大学生 でいいでしょうか。

分かりました。もうすぐ社会に出る大学生の「言葉で、自分の考えを伝える力」の、標準的なレベルと自分のレベルを比較して、自己理解につなげるためのテストを作りましょう! 
さてマナブさん、これで、テスト開発のステップの1つめ 「テストの目的・用途を決める」 と、次の 「テストのフレームワークを作る」のなかの「構成概念の定義」 も固まってきましたよ。

あれ? そうなのですか?

Topへ戻る

テストの基本設計図となる「フレームワーク」

テストのフレームワークとは、 テストの基本設計図 です。具体的なテスト項目を作るための、さまざまな 仕様や規格 を定めるものです。

しよう?

何かを作るときに決める、いろいろなルールや決まりをまとめたもの、とでも言ったらよいでしょうか。何をどのように測るのかというルールを作っておかないと、それに合わないテスト項目を作ってしまうこともありえるので、最初にルールを決めておく必要があるんですね。
そのなかで最初に必要なのが、「構成概念の定義」で、これは、 測りたい能力を明確化 することです。これが曖昧だと、どうしても妥当性は高くなりません。

あ、確かにさっき、絞っていって決めましたね。

解説

構成概念を定義することは、その概念(マナブくんのテストでいえばコミュニケーション能力)とは何なのか? という哲学的・心理学的な問いに対する答えを探すものではありません。 テストの目的に照らして 、どのような力を測ればよいのかを熟慮し、専門的な知見を取り入れながら定義していきます。

解説

テストを作るときには測りたい能力を明確化することが必要ですが、テスト結果を利用するときにも、そのテストがどの能力をどのように測っているのかは把握しておくことが大切です。

はい、ではその次は、 「行動指標の同定・収集」 です。定義した能力の候補となる 行動の記述 をできるだけ多様に、たくさん集めます。

行動? 記述??

たとえば、「考えを筋道立てて話す」「話すときはあまり会話が途切れない」「敬語を適切に使用できる」のように、定義した能力に関する行動を、文のような形で表したものです。そのひとつひとつを行動指標と呼んでいます。

えっと、集めるということですが、どうやって集めれば…?

次のような方法が考えられますが、でもとにかく色々やってみましょう。選別はあとで行います。この段階では、取りこぼしのないように、ある程度数を出すことが大切です。

行動指標の収集方法

  • 構成概念を理論的な観点から、いくつかの側面、領域、レベル、プロセスなどに整理してみる(キーワード化)
  • 自由連想(とにかく思いついたものをリスト化)
  • ディスカッション、ブレインストーミング
  • 対象者の自由記述や面接から内容分析
  • 専門家へのヒアリング
  • 先行研究・先行事例の収集

先ほどの「考えを筋道立てて話す」のような行動を、このテストで測っていくってことですよね? でも先生、どうやって測ればいいのですか? 何か課題を出して、できているかどうかチェックするのですか?

一定の課題と採点ルールを作るというのは、実はなかなか大変な作業です。私はテストというのは、測りたいものを楽に測れるようにするものだと思っています。測るのにわざわざ苦労するものだと、テストをする意義も弱いのではないでしょうか。なので今回は、効率化を考えて、 自己報告形式 でよいのではないかと感じています。マナブさんが初めて作るテストでもありますし。

自己報告ということは、「自分はできます」と答えれば、できることになるのですか? ええっと、それでいいのでしょうか…。確かに、できているかどうかというのも、見る人が変われば判断も変わるかもしれませんし、採点ルールを作るのも大変そうなのは分かりますが。

そうですね。自己報告の場合、客観性は低くなるかもしれません。この場合、あくまでも、 自分の伝える力を自分でどう認識している かを測っていることになります。このテストの目的は、「自己理解のため」でしたので、自己報告でも目的から外れていないと考えることはできると思います。

ああ、そういうことか。確かに、入社後に上司が僕の出来を評価するために使うという目的じゃないですもんね。

回答者に誤解させないように、自己理解のためなので自分を 「社会的に望ましい」姿に見せる必要はない こと、ありのまま回答してほしいことを、回答用紙に大きく書いて注意喚起しておいてもよいかもしれません。

解説

自己報告形式や評定尺度の場合は、回答者が回答を歪めてしまう「反応歪曲」の影響があります。反応歪曲は主に次のような理由で見られるとされています。

  • 印象操作…社会的望ましさや職業的望ましさ
  • 意図的な欺き
  • 反応バイアス
  • 回答意欲の低さ(でたらめに回答するなど)


反応歪曲への対策としては、警告の提示のほか、強制選択式の項目形式で安易な回答を防ぐ方法や、チェック用の偽造項目を含めておく方法などがあります。

分かりました。自己理解が目的なら、自己報告式でも、まあいいかなと思えてきました。
先に決めた目的が、効いてきますね!

はい、目的・用途を決めておかないと、至る所で判断がブレてくると思います。
そして、実は今私たちがしていたのは、テスト作成のステップの 「テストおよび項目の仕様を決める」 の作業そのものです。ここでは、テストの回答者は自分か他人か、どのような項目をどの程度含めるのか、そして、項目の内容・形式・レベル・プロセスなどの仕様を定めていきます。

自己報告式にするかどうかも、仕様だったのですね。あとは何を決めればいいのですか。

そうですね、テスト形式では、評定式は「はい」「いいえ」の二者択一式なのか、段階を見る評定尺度なのかとか、項目数はどれぐらいにするか、とかですかね。項目仕様では、今回は、文言の統一や長さ、行動指標が偏らないようにどの分類から入れるか、とかでしょうか。

できるかどうかの問いに二者択一で答えるのは、答えづらいかも…。

そうですか。性格テストでも 評定尺度 が一般的です。それでは選択肢が5つの 5件法 ぐらいがいいかもしれないですね。

分かりました。あと項目数っていうのは、テストに入れる問題というか、質問文の数のことですよね。どれぐらいがいいものなのでしょうか。僕は全然分かりません…。

今回は構成概念がぐっと絞られたので、そうですね、最終的には20項目ぐらいで問題ないのではないでしょうか。 項目は取捨選択して減らしていくので、最初は多めに用意します 。このテストはそれほど回答に時間がかからなさそうなので、最初は30項目ぐらいあっても大丈夫かもしれませんね。

最初は30項目ですか。で、その30項目をどうやって作るかというのは…。

そう、先ほど説明した「行動指標」から作ります。行動指標は抽象的なので、仕様に基づいて、具体的にテスト項目に落とし込みます。

行動指標を30個は集めなければならないのですね。

この段階ではあまり数は気にせず、とにかくたくさん出すことが大切です。

そ、そうですか。

「言葉で、自分の考えを伝える力」に関わる行動を、まず書き出してみましょう。私は先行研究もチェックしてみます。それらをいったん整理して、そこから記述をさらに増やしていきましょうか。

ですが、先生、そろそろ疲れて頭の動きが鈍くなってきたのですが…。

じゃあ休憩しましょうか。脳のエネルギー源になる甘いお菓子もありますよ。お茶もいれますから、リラックスして、楽しく考えてください。

やった!

次回は予備実査の準備に入りたいので、できれば次回までに項目を完成させたいですね。

いっきに項目完成ですか! アメと、ムチ…?

いえいえ、アメと、クッキーと、チョコレートもありますよ。

…いただきます。

Topへ戻る

今回のポイント

  • 目的・用途を決め、テストのフレームワーク(設計図)を作ることが、妥当性の高いテストを作るための第一歩である。

解説

加藤 かとう 健太郎 けんたろう プロフィール(詳細はこちら

■専門領域

心理測定学および統計学
テスト理論に基づくテスト開発および関連する統計的手法の研究開発(サイコメトリシャン)

■やっていること

ベネッセ教育総合研究所におけるアセスメント研究開発
アセスメント事業の開発・運用サポート(ベネッセ、その他受託案件等)
最新の測定技術に関する情報収集・研究(学術論文・専門書の執筆、学会発表)
学術誌の論文査読委員
講演・研修会講師
大学非常勤講師

「テストについての正しい知識と、テストへのポジティブな興味関心をもっていただきたいと願っての連載です。テスト結果の数値の意味についても説明していこうと思います。次回以降もぜひ読んでみてください!」

【企画制作協力】(株)エデュテイメントプラネット 山藤諭子、柳田善弘 ライター 向井愛

みなさまの声をお聞かせください!




ページのTOPに戻る