人の成長をデザインする会社

「わかりやすい」を、確かめられる評価基準にする

「わかりやすい」を、確かめられる評価基準にするのイメージ

AI実務教材・全30記事の総合案内 AIと教材を改善する場面を想定し、手順書を試した人の行動から成否を判定する基準を作ります。

「わかりやすい手順書にする」と決めたら、初めて読む人にしてほしい操作を一つ選び、その成否をどう観察するか決めます。「わかりやすかったですか」と聞くのは感想を知る方法です。手順どおりに作業できるかを知りたいなら、観察するものが違います。

判定条件を書き出すときは、良い教材の特徴を列挙するより、試行当日に観察者が持つ記録用紙を思い浮かべます。「図が多い」は制作上の特徴です。「どこで手が止まったか」は使った人の記録です。何を評価したいかで、見る対象が変わります。

一人分の判定を先に書く

架空の授業で、準備時間を30分とし、各参加者が個別説明を受けずにサンプル画面を表示できることを目指すとします。30分はこの授業で使える時間から決めた条件です。一般の教材に当てはまる数字ではありません。

確認したいこと 記録方法 この試行での達成条件
時間内に進めたか 配布して開始した時刻と表示時刻を記録 開始から30分以内
自分で操作したか 個別説明を受けた場面を記録 個別説明なし
最後まで到達したか 所定のサンプル画面を目視 指定画面を表示

開始を「着席時刻」にすると、配布を待った時間まで本人の作業時間になります。終了を「できましたという申告時刻」にすると、申告の早さによって結果が変わります。開始と終了を何で認めるかまで決めると、別の人が観察しても同じ条件を適用できます。

境目の一例で試す

練習として「開始から25分でサンプル画面が表示された。途中で講師が保存先を一度教えた」という架空の記録を判定してみてください。時間と画面は条件を満たし、個別説明は条件を満たしません。一人分の総合判定だけに丸を付けると、どこが改善対象なのか失われます。項目ごとの結果を残せば、保存先を見つける説明を改めて試せます。

観察者が途中から入った場合は、個別説明の有無を確かめられないこともあります。その欄を空想で埋めず、観察開始時刻を添えて保留にします。AIに判定の整理を手伝わせる場合も、使ってよい記録と達成条件を一緒に渡してください。何を達成したのか、どこから先は言えないかを人がたどれる形になります。

何人達成したら、教材を使い続けるか

上の条件は一人分の判定です。一人が達成したことから、全員が使える教材だとは言えません。反対に一人が遅れたことから、手順書全体を作り直すべきとも決められません。授業での採用を決めるときは、参加者ごとの結果を見たうえで、どの箇所で、どのような介入が必要だったかを比べます。時間内に終わったかという数字と、次に直せる箇所の記録にはそれぞれ役割があります。

たとえば所定の画面が一部の端末でしか表示されないなら、端末の開始状態も記録に加えます。あとから都合のよい結果だけを達成に数えるためではなく、同じ条件で試せたのかを確かめるためです。次の試行で条件を見直した場合は、以前とは何が違う判定なのかも残します。

関連記事

ホーム » BLOG » 「わかりやすい」を、確かめられる評価基準にする