人の成長をデザインする会社

質問が減れば改善か。件数を成果指標にする前に

質問が減れば改善か。件数を成果指標にする前にのイメージ

AI実務教材・全30記事の総合案内 AIで案内文を直した後の効果を、問い合わせ件数からどこまで判断できるか考えます。

質問件数が減ったという数字だけでは、案内が改善したかは決められません。読み手が必要な情報を見つけた場合にも、見つからず申し込みを諦めた場合にも、窓口には質問が届かないからです。件数を使うなら、読者に起きてほしい行動を一緒に確認します。

数字は集めやすいものから残ります。窓口に届いた質問には記録がある一方で、案内を開き、よくわからず閉じた人の行動は同じ記録には現れません。指標を読むときには、その数字が生まれるまでに、読み手がどの経路を通った必要があるかを考えます。

同じ件数を生む別の経路

架空の催しで、案内文を改めた後、「費用はいくらですか」という質問がなくなったとします。費用を見つけやすい位置に移したことは一つの説明です。しかし案内を届けた人数が減った、問い合わせ先がわかりにくくなった、という説明も成り立ちます。過去と今回で案内の届き方が違えば、件数だけを比較して改善の効果を見積もることはできません。

ここでの目的を「参加を考えている人が、費用を知ったうえで参加するかを判断できる」と置き直します。すると、問い合わせ件数を集め直す前にできる確認が見つかります。初めて案内を読む人に、参加したいと仮定して、費用とその根拠になる記述を指してもらう方法です。金額を正しく答えても、偶然の推測なら、見つけやすさを確かめたことにはなりません。

指標を使う目的を二つに分ける

窓口の負担を知りたいなら、受けた質問の件数や対応に要した手間には意味があります。一方、読者が正しく判断できたかを確かめたいなら、案内から読み取った条件や迷った箇所が役に立ちます。同じ案内文について両方を調べても構いません。それぞれ何を説明する証拠かを記録します。

自分の業務でも、AIに「質問が減った理由を、改善が起きた場合と、それ以外の場合に分けて挙げて」と頼めます。返ってきた候補は説明の仮説です。そこから、現場で見分けられる問いを一つ選びます。たとえば「案内のどこで費用を確認しましたか」。読者が見つけた行と窓口の件数を並べれば、数字が動いた理由を一段具体的に検討できます。

少ないデータをどう読むか

「質問はゼロだった。何人が案内を読んだかはわからない」という結果なら、報告できるのは、その期間に窓口が受けた件数です。一人も困らなかった、という読み方には材料が足りません。逆に、読者が一人だけでも、その人がどこで金額を見つけ、何を読み違えたかを観察できれば、文章を直す具体的な手掛かりになります。原因の候補を見つける観察と、改善が広く生じたと判断する調査では、必要な証拠が違います。

案内を直すたびに指標そのものを変えると、前後を比較しにくくなります。次回も「費用について窓口に届いた件数」は同じ条件で記録し、そこに読者が費用を探した経路を添える方法なら、以前の記録を生かしながら、足りなかった情報を補えます。

関連記事

ホーム » BLOG » 質問が減れば改善か。件数を成果指標にする前に