人間の確認を最後だけ残す業務自動化
最後の一人に責任を集中させない
「最後だけ人が確認する」自動化は、途中を無検査にする設計ではありません。機械で検出できる欠落、形式違反、数値不整合を各工程で止め、人は文脈、例外、外部への反映可否を判断します。最後の確認者が初めて誤りを見る状態では、処理量が増えたときにレビュー待ちか見逃しのどちらかが増えます。
この記事では、架空の従業員30人の事業者が、社内FAQ草案、取引先への見積回答、従業員の安全に関わる作業指示の三つを自動化候補として評価します。件数、時間、率、IDは計算方法を示す架空値であり、実績や安全基準ではありません。法務・個人情報・労働安全の最終判断は、組織の専門担当へ戻します。
設計は、まず損害の種類を評価し、次に人のgate位置を決め、最後にレビュー能力を計算する順です。自動化率を先に目標にすると、高リスク業務まで同じ終端レビューへ押し込む危険があります。
五つの観点で「誤ったとき」を採点する
各観点を1〜3点で評価します。1は影響が限定され回復しやすい、2は担当者の修正や相手への連絡が必要、3は回復困難または重大な判断を伴う状態です。合計5〜7点を低、8〜11点を中、12〜15点を高とするのは本稿の例です。NISTや国内ガイドラインがこの点数を指定しているわけではありません。
- 可逆性：誤りを取消・復元できるか。外部送信や身体的結果は戻しにくい。
- 影響範囲：一人・一文書に閉じるか、顧客、従業員、社会へ広がるか。
- 検知可能性：機械検査や利用者の指摘で、損害前に見つけられるか。
- 法務・個人情報：契約、権利、個人データ、規制判断を含むか。
- 安全性：誤りが身体、設備、事業継続へ影響するか。
| 業務例 | 可逆性 | 影響範囲 | 検知可能性 | 法務・個人情報 | 安全性 | 合計・区分 | 採点理由 |
|---|---|---|---|---|---|---|---|
| 公開済み手順から社内FAQ草案を作る | 1 | 1 | 1 | 1 | 1 | 5・低 | 公開前で取消可能。対象は社内、禁止語・リンク・出典を機械照合でき、個人情報と安全指示を入力から除外 |
| 取引先の依頼から見積回答案を作る | 2 | 2 | 2 | 3 | 1 | 10・中 | 送信後は訂正連絡が必要。金額・納期が契約交渉へ影響し、担当者名や連絡先を扱う。原価表との照合は可能 |
| 設備停止時の復旧手順を作業者へ指示する | 3 | 3 | 3 | 2 | 3 | 14・高 | 実行後に戻せず、複数人と設備へ影響。現場条件をシステムだけで把握できず、誤指示が身体安全へ波及 |
| 採用応募の要約を面接官へ渡す | 2 | 2 | 2 | 3 | 1 | 10・中 | 原文へ戻れるが選考判断へ影響し、応募者の個人情報やセンシティブな推測を含み得る |
採点時は平均で丸めません。安全性3の作業は、合計が低くても高リスク扱いにする「上書き条件」を置きます。同様に、法的権利を確定する、個人へ重大な不利益を与える、公開情報として外部へ大量配信する場合も高へ上げます。単純な合計だけでは、頻度は低いが重大な事故を隠すためです。
評価者が迷う項目は低い方へ寄せず、「不明」として高いgateへ送ります。試行で検知可能性や可逆性を実証できた場合だけ再評価します。「今まで事故がない」は検知能力の証明ではありません。
採点会議では業務名ではなく失敗シナリオを読む
同じ「メール作成」でも、社内の日程候補と契約条件の回答では影響が異なります。評価票には正常時の便利さではなく、「誤った宛先へ送る」「金額が一桁違う」「対象者を取り違える」など、現実に起こり得る失敗を一件ずつ書きます。一つの業務に複数の失敗がある場合は、最も重大なものだけで全体を決めるのではなく、シナリオごとに制御を割り当てます。
可逆性では、システム上の取消ボタンだけを見ません。メールを削除できても、相手が読んだ事実や意思決定への影響は戻せません。金銭補償で回復できる損害と、権利・信用・身体へ残る損害も分けます。回復に必要な担当者、時間、連絡先が決まっていないなら、可逆と評価しません。
影響範囲は件数と深刻度の両方を記録します。一人への重大な不利益を「対象が一人だから1点」としないためです。直接の受信者だけでなく、その情報を使って判断する管理者、取引先、現場作業者も列挙します。二次利用の可能性が分からなければ、利用範囲を限定するまでpilotへ進めません。
検知可能性は、検査手段、検査時点、真値の入手先を組で確認します。合計金額は価格表から再計算できますが、文章の礼儀や相手との交渉文脈は単純な形式検査では確定できません。「担当者が気付くはず」は検査方法ではないため、誰がどの画面で何と比較するかを決めます。
法務・個人情報と安全性は、担当部署へ評価票を渡す境界を明示します。記事の採点者だけで「法的問題なし」と確定しません。適用法令、契約、社内規程、メーカー手順が特定できない案件は、専門担当の確認待ちとして停止します。相談結果は結論だけでなく、対象範囲と有効期間を記録します。
リスクに応じて人を置く場所を変える
低リスクなら機械検査を通過した束を人がサンプル確認できます。中リスクは外部反映の直前に全件を確認します。高リスクは最後だけでは遅く、入力、計画、実行前に人のgateを置き、自動実行を禁止します。
| 区分・業務 | 人のgate位置 | 人が承認する対象 | 先に行う機械検査 | 具体的な停止条件 |
|---|---|---|---|---|
| 低・社内FAQ草案 | 日次20件の生成後、公開候補の20%サンプル。新カテゴリは全件 | 質問と回答の対応、読者に誤解を与えない表現 | 出典URLの存在、引用範囲、禁止語、重複、個人情報パターン | 出典なし1件、個人情報候補1件、サンプル誤り率5%超で当日分全件停止 |
| 中・見積回答案 | 取引先へ送信する直前、全件 | 相手、品目、数量、単価、税、納期、例外条件、メール本文 | 顧客ID一致、原価表との差、計算再実行、必須欄、期限、添付名 | 金額差1円以上、未承認値引き、納期根拠なし、宛先不一致で送信不可 |
| 高・設備復旧指示 | 入力確定時、手順選択時、現場実行直前 | 設備ID、現場状態、隔離、作業者資格、メーカー手順、実行可否 | 設備ID形式、手順版、有効期限、必要資格、センサー値の範囲 | 安全性3、現場値欠落、手順版不一致、資格者不在なら自動生成物を作業指示に使わない |
低リスクのサンプル率20%は固定の正解ではありません。最初の2週間は全件確認し、誤りの種類と検出率を測ります。重大誤りゼロ、軽微誤りが組織の許容範囲内で、入力分布が安定している場合に限りサンプルへ移します。新しい質問カテゴリ、モデル・prompt・参照資料の変更後は全件確認へ戻します。
中リスクでは「AIが95%確信」といった自己申告を承認根拠にしません。原価表、顧客台帳、承認済み値引き条件など、外部の基準値と照合します。承認者はメールの文章だけでなく、計算入力と根拠を同じ画面で見られる必要があります。
高リスク業務は、人が最後に押すボタンを置くだけでは不十分です。自動化が誤った前提で手順を組み立てる前に、設備状態と適用手順を資格者が確定します。生成結果は参考情報に限定し、組織の安全管理手順とメーカー資料を優先します。
サンプル確認へ移す条件と全件確認へ戻す条件
低リスク業務でも、初日から20%だけを見る設計にはしません。最初は全件を確認し、入力カテゴリ、誤りの種類、機械検査で止めた件数、人だけが見つけた件数を記録します。人だけが見つける重大誤りが残る間は、サンプル率を下げません。母数が少ない場合も、ゼロ件を精度100%と表現しません。
サンプル抽出は先頭20件のような偏る方法を避け、曜日、担当、顧客区分、入力カテゴリを含むようにします。新カテゴリは全件、過去に重大誤りがあったカテゴリも全件とし、安定カテゴリだけを無作為抽出します。レビュー担当者が「良さそうなもの」を選ぶと、難しい案件が観察から外れます。
全件確認へ戻す条件には、重大誤り1件、入力項目追加、参照資料更新、モデル・prompt変更、機械検査の変更、苦情、監査記録欠落を含めます。戻す期間は最低件数または最低日数で定め、担当者の感覚だけで再びサンプルへ移しません。原因対策後に新しいデータで確認し、リスク責任者が移行を承認します。
監査記録は一件の判断を再現できる粒度にする
ログの量ではなく、後から「何を入力し、何を根拠に、誰が何を承認し、何が反映されたか」を再現できることが重要です。次は見積回答案 QR-20260825-017 の記入例です。
| 項目 | 記録値 |
|---|---|
| 入力 | 依頼ID REQ-8841、顧客ID C-0218、品目 SV-A、数量3、希望納期2026-09-10。自由記述から個人携帯番号を除外 |
| 根拠 | 価格表 PRICE-2026Q3-v2 のSV-A単価、納期表 LEADTIME-20260825、値引き承認 DISC-114（5%まで、8月31日失効） |
| 生成物 | quote-response-QR-20260825-017-r1、小計300,000円、値引15,000円、税別285,000円、納期9月10日案 |
| 機械検証 | 顧客ID一致、3×100,000=300,000、値引率5%、必須8欄、宛先domain一致。結果 AUTO-CHECK-PASS-44 |
| 人の検証・承認者 | 営業担当Aが数量・品目を原依頼と照合、営業責任者Bが値引きと納期を2026-08-25 14:32 JSTに承認。承認ID APR-9012 |
| 反映結果 | メール下書きID MAIL-DRAFT-771まで作成。送信者Bが14:40 JSTに宛先と添付を再確認し送信。送信記録 MSG-5520 |
| 差戻し・例外 | 初稿r0は納期根拠が旧版のため停止 REV-208。旧稿はsuperseded、r1だけを承認対象にした |
この記録には全文の個人情報を複製しません。原資料へのアクセス制御された参照IDと、判断に必要な値を残します。監査ログ自体が新しい個人情報の集積になるのを避けるためです。保持期間、閲覧権限、訂正方法も組織の記録管理規程に合わせます。
機械検査がPASSでも、人の承認を省略しません。この例で機械が確認したのは形式と計算であり、取引関係や納期約束の妥当性ではありません。反対に、人が承認した後で生成物が変われば承認は無効です。checksumまたは改訂IDで、承認対象と反映対象の同一性を確かめます。
承認画面は差分と根拠を一緒に見せる
承認者へ完成文だけを表示すると、元入力や根拠を別システムで探す時間が増え、文章の自然さだけで判断しやすくなります。画面には対象ID、原入力の必要部分、根拠の版と該当箇所、生成物、機械検査結果、前版との差分、停止条件を並べます。個人情報は役割に必要な範囲だけ表示します。
承認操作は「承認」「差戻し」「対象外」の三つを区別します。差戻しでは理由コードと修正対象を必須にし、対象外は自動化で扱えない案件として人手工程へ送ります。自由記述だけでは改善集計が難しく、理由コードだけでは文脈を失うため、両方を残します。
承認者が根拠を開けない、原入力が欠ける、改訂IDが変わった、機械検査の実行時刻が古い場合は承認ボタンを無効にします。急ぎ案件のために画面外で了承し、後から記録を付ける運用は認めません。緊急手順が必要なら、別の権限者、期限、事後レビューを事前に設計します。
承認者間で判断が割れた案件は多数決で通さず、閾値の定義不足として記録します。どの観点や根拠で分かれたかを整理し、業務責任者とリスク責任者がルールを更新します。過去案件も同じ条件に該当するなら再確認します。
レビュー能力を件数ではなく分で計算する
架空の4週間pilotで、中リスクの見積回答を同じ20営業日、各週100件、合計400件処理したとします。全件レビューの実測値を使います。
| 週 | 件数 | 平均確認時間 | 差戻し率 | 見逃し件数 | 差戻し後の平均手戻り |
|---|---|---|---|---|---|
| 1 | 100 | 6.0分 | 18% | 2 | 8分 |
| 2 | 100 | 5.4分 | 12% | 1 | 7分 |
| 3 | 100 | 5.0分 | 8% | 0 | 6分 |
| 4 | 100 | 4.8分 | 7% | 0 | 6分 |
第4週を基準に、通常レビューは 100件 × 4.8分 = 480分、差戻し手戻りは 100件 × 7% × 6分 = 42分、合計522分、1日平均104.4分です。担当者がこの業務へ確実に使える時間を1日120分とすると、利用率は87%です。
平均だけなら収まりますが、到着が偏ると危険です。月曜に30件届けば通常確認だけで144分かかり、日次能力を超えます。そこで日次の新規受付上限を25件、未処理が20件を超えたら翌日納期を約束しない、当日締切案件が5件を超えたら予備承認者を投入、と決めます。
差戻しを含む1件当たり期待時間は 4.8 + 0.07 × 6 = 5.22分。120分で理論上約22.9件ですが、会議、複雑案件、システム停止を考え、80%の余裕率を掛けて 22.9 × 0.8 = 18件/日 を平常受入目安にします。100件/週なら20件/日なので、2件/日の不足です。担当者を増やすか、入力不備を前工程で減らすまで件数を拡大しません。
見逃しは件数ゼロだけで評価しません。見逃しの定義と発見経路を固定します。第1週の2件が誤宛先候補と未承認値引きなら重大です。第3・4週がゼロでも母数200件にすぎず、安全が証明されたとは言えません。外部送信前の全件gateを維持し、検出可能性を継続測定します。
キューが能力を超えたら検査を省かず受入れを絞る
未処理が20件を超えたとき、確認項目を減らして追いつこうとしてはいけません。新規の当日回答を停止し、依頼者へ回答予定を通知し、期限とリスクで並べ替えます。同じ期限なら高リスクを先にするとは限りません。高リスクは必要な専門担当が揃う時間へ予約し、低リスクの短時間案件だけで見かけの件数を減らさないようにします。
予備承認者を投入する場合、通常担当と同じ資料、画面、権限、判断基準を用意します。説明なしで別部署へ転送すると、レビュー時間は増えても品質は上がりません。予備担当の処理分は別に集計し、判断差と差戻し率を比較します。
到着量が継続的に能力を超えるなら、残業を標準能力として計算しません。依頼フォームの必須入力を増やして差戻しを減らす、低リスク業務だけを分離する、承認者を育成する、サービス水準を変更する、の順に検討します。自動生成件数を増やすだけでは、人のキューをさらに悪化させます。
容量の見直しでは平均時間だけでなく、90パーセンタイルなど遅い案件、曜日別到着、欠勤時の能力、重大案件の割込みを確認します。本稿の18件/日は平常日の計算例です。組織は少なくとも繁忙日と一人欠勤のシナリオを試し、停止条件を守れる受入上限を決めます。
閾値は資料からコピーせず組織で決める
NIST AI RMF 1.0は、GOVERNを横断機能とし、MAPで文脈と影響を把握し、MEASUREでリスクを分析・追跡し、MANAGEで優先順位付けと対応を行う構造です。特定業務の「合計12点なら高」や「見逃し0件」を指定してはいません。そのため組織は次の順で閾値を決めます。
- GOVERN：業務責任者、リスク責任者、承認者、停止権限者を決める。法律、契約、安全規程、個人情報規程を上書き条件として登録する。
- MAP：利用者、影響を受ける人、入力データ、利用環境、誤りの結果、代替手段を記述する。三つの業務を同じ「文章生成」でまとめない。
- MEASURE：五観点の採点、誤り率、見逃し、レビュー時間、入力分布の変化をpilotで測る。測れない項目は不確実性として残す。
- MANAGE：低・中・高のgate、停止条件、例外処理、再開条件を承認する。高影響を優先し、残余リスクを誰が受容したか記録する。
- 見直し：事故、苦情、法令・契約変更、モデルやデータ変更、キュー超過で全件確認へ戻し、閾値を再審査する。
総務省・経済産業省のAI事業者ガイドラインは、人間中心、安全性、プライバシー保護、セキュリティ確保、公平性、透明性、アカウンタビリティなどの共通指針を示します。本稿では、人間中心を「不利益を受ける人と異議申立て経路の確認」、安全性を高リスク上書き、プライバシーを入力と監査ログの最小化、透明性・アカウンタビリティを根拠・承認・反映結果の記録へ対応させます。
国内資料も本稿の点数を決めるものではありません。法務担当は適用法令と契約、個人情報保護担当はデータ項目と利用目的、安全担当は危害シナリオ、業務責任者は許容できる停止時間と手戻りを持ち寄ります。最後に経営または委任されたリスク責任者が、残るリスクと便益を比較してpilot範囲を承認します。
閾値会議では「AIだから厳しく」「人より正確そうだから緩く」と決めません。現行の人手工程も同じ指標で測り、baselineとpilotを比較します。ただし平均時間が改善しても、重大な見逃しが増えれば継続しません。効率指標が安全・権利の指標を相殺しないよう、上書き条件を先に決めます。
差戻しと事故から再開する条件を決める
入力不備なら原依頼を訂正し、同じ生成物を手修正して正本にしません。根拠が古いなら参照資料の版を更新し、影響する全生成物を検索します。承認後に内容が変わったなら改訂番号を上げ、機械検査と人の承認をやり直します。
外部へ誤送信した場合は自動処理を止め、対象、時刻、送信内容、受信者、影響、回収可能性を記録し、組織のインシデント手順と専門担当へ連絡します。モデルへ再生成させることは初動ではありません。まず外部状態と影響範囲を確定します。
再開条件は「原因が分かった」だけでは不足です。原因へ対する入力検査またはgateの変更、影響を受けた記録の訂正、テストケースでの再現防止、責任者の承認を揃えます。高リスク作業は、同じ事故を機械的に検知できても、人の前段gateを自動的に外しません。
導入は低リスク1業務を2週間全件確認するところから始めます。監査記録を10件抽出して判断を再現できるか、レビュー能力が到着ピークを処理できるか、停止条件が実際に止めたかを確認します。人の確認を最後だけ残す目的は、人を減らすことではありません。人が判断すべき案件を、根拠と検査結果が揃った状態で、処理できる量だけ届けることです。
