人の成長をデザインする会社

指示を直すか、資料を直すか。AIの誤答から原因を絞る

指示を直すか、資料を直すか。AIの誤答から原因を絞るのイメージ

AI実務教材・全30記事の総合案内 AIが旧料金を書いた場面から、入力資料、指示、版の引き継ぎのどこを調べるかを考えます。

同じ誤りが何度も出るときは、依頼文を長くする前に、正しい判断に必要な材料がAIに届いていたかを調べます。正しい資料を渡していない場合と、渡した資料の使い方が曖昧な場合では、直す場所が違います。

調査に使うのは、今のフォルダにある最新版だけではありません。その出力を作った時点で、どの版を渡したかが重要です。後から追加した表を見て「正しい資料があるのに間違えた」と判断すれば、当時の入力にはなかった情報を前提に原因を推測することになります。

古い参加費が復活した経路を探す

架空の説明会で、現在の参加費は無料なのに、初稿には旧案の「500円」が残りました。入力を見返すと、次の三通りが考えられます。

  1. 旧案しか渡していなかった。現在の料金を知る手掛かりがないので、確認済みの料金表を加える。
  2. 新旧両方を渡したが区別しなかった。料金は現行表を根拠にし、旧案は構成の参考と明示する。
  3. 下書き段階では無料だったのに、最終の整形で旧稿を使った。修正対象の版と引き渡し手順を改める。

いずれも「もっと慎重に書いて」と再依頼するだけでは、誤りの経路が残ります。出力だけを見て原因を断定せず、渡した資料、元の指示、どの版で誤りが初めて出たかを順に確認します。

仮説を一つ、変更を一つ

手元で試すには、「旧案=500円」と「今回の確認表=無料」の二行を用意してください。現在の依頼のまま出力を保存し、次に入力は同じにして「料金の採用元とその行を回答に添える」と加えます。比較するのは無料になったかに加え、判断に使った行が正しいかです。一度正しく出ても、言い回しの変更だけが効いたとまでは結論づけられません。

料金表をそもそも渡し忘れていたとわかったなら、比較実験を重ねるより先に資料を差し替えるほうが合理的です。逆に最後の引き継ぎで旧稿が混じったなら、AIへの指示を変えても解決しません。「現行表を渡した証拠はある。初稿は無料。整形後に500円」という記録があれば、修正対象はかなり絞れます。原因の仮説と確認できた経路を別に残すと、次に同じ誤りが出たときの調査が短くなります。

再発したら、同じ原因とは限らない

一度目は料金表の渡し忘れ、二度目は正しい初稿を古いテンプレートへ貼り付けたことが原因かもしれません。「前回は資料の不足だった」という記録は出発点にはなりますが、今回も同じだと決める根拠にはなりません。誤りを初めて見つけた版と、一つ前の版を確認する理由はここにあります。

切り分けの記録は「無料のはずが500円になった/現行表を渡したか不明/入力一覧を確認する」のように書けます。入力が確認できなければ、当時の原因は未確定のままでも構いません。その場合は、次回から入力一覧と採用元を残す方法を試します。過去の経路を断定できなくても、次回の誤りを調査しやすくする改善はできます。

関連記事

ホーム » BLOG » 指示を直すか、資料を直すか。AIの誤答から原因を絞る