AIの精度を調べていたら、「正解を読ませる仕組み」に行き着いた

二つの実験を進めるなかで、AIより先に決めなければならないことが、次々に出てきました。

どの文書を正しいものとして扱うのか。
旧版と現行版を、どう見分けるのか。
誰に、どの期間に、どの条件で適用するのか。
似ていても、回答の根拠には使わない資料はどれか。
資料の中に答えがないとき、どこで止まるのか。

NotebookLMへ質問する前には、30問それぞれについて、必要な事実と根拠文書を決めました。

GeminiによるAI検索と通常検索を比べる前にも、72文書を質問ごとに分類しました。必須の資料、補助資料、旧版やドラフト、役割上は不要な資料、質問には関係しない資料です。

AIの精度を調べるつもりでした。

けれど、実験を成立させるために先にしていたのは、人間側の正解を、AIと採点者が読める形にすることでした。

そして、二つの記事を書いたあと、人とAIの境界についても考え直しました。

前の二本では、設計されていない一回の回答に、根拠の最終選定を任せないという線を引きました。

• 第1回：引用が付いていれば、答えは信用できるのか
• 第2回：一か所にまとめた資料をAIに探させると、何が変わるのか

ただ、その線は固定ではありません。

何を正本とするかの条件、必ず読む資料、優先順位、停止条件、更新権限を設計すれば、これまで人が毎回行っていた選定や更新の一部を、AI側へ移せます。

今回考えたいのは、そこです。

二つの実験で確認したこと

一つ目の実験では、72件の架空文書を一か所にまとめ、同じ18問を、GeminiによるAI検索と通常のキーワード検索で調べました。

AI検索は、回答に必須と設定した文書を15/15件回収しました。通常検索は13/15件でした。全計画実行の平均時間は、AI検索が約22秒、通常検索が約67秒でした。

一方で、

AIは、通常検索より、役割上は必要のない資料を一貫して見つけやすい

という差は確認できませんでした。

数値上の差は、通常検索側が操作エラーで終了した一問に依存していました。後続の別質問群でも、両方式が完了した比較では、明確な方向差は残りませんでした。

二つ目の実験では、NotebookLMへ30件の架空規程を入れ、30問を二つの条件で質問しました。

現行文書18件だけを入れたCleanと、旧版、未承認ドラフト、適用外資料など12件を加えたMixedです。

Mixedでは、版や権威を問う6問すべてで現行資料を識別しました。旧版、ドラフト、適用外資料、内容が似ているだけの資料を、正しい根拠として採用した回答は0件でした。

ただし、条件、例外、手続、補助規程までそろった完全回答は、CleanもMixedも17/30件でした。主な結論は合っていても、判断に必要な情報が不足した回答が残りました。

二つの結果を合わせると、AIについて次のことが分かります。

管理情報があり、必要な資料を取得できれば、AIは現行版や権威を読み分けられる。

同時に、次のことも分かりました。

正しい資料を見つけたことと、その判断に必要なものが全部そろうことは別である。

ここまでは、今回の実験で確認したことです。

前の二本から、線が動いた理由

第1回では、NotebookLMの引用に対して、

その答えを誰に適用し、何を最終的に伝えるかは、人が引き受ける

と書きました。

第2回では、

何を探してよいか、どの資料を根拠にするか、誰に見せてよいかは、人が引き受ける

と書きました。

この線は、一回の質問に対してAIが資料を探し、回答を返す使い方を前提にしています。

正本の条件が十分に定義されていない。
必要な資料を毎回確実に取得する仕組みもない。
資料が矛盾した場合の停止条件もない。
正本台帳を更新する権限もない。

この状態で、AIが選んだ資料を、そのまま正式な根拠にはしません。

ただし、前提が変われば、線も動きます。

正本の成立条件、取得経路、優先順位、停止条件、更新権限、監査記録を設計すれば、ルールで閉じられる選定や更新はAIへ移せます。

人に残るのは、すべての資料を毎回選ぶ作業ではありません。

どの条件ならAIへ委ねてよいかを決める仕事

です。

資料があることと、正本として使われることは別です

一つの文書には、少なくとも四つの状態があります。

1．保存されている

ファイルがDrive、Notebook、共有フォルダなどに存在している状態です。

2．今回の回答で取得されている

検索や取得の仕組みによって、その文書が実際のコンテキストへ入った状態です。

3．判断根拠として採用されている

回答や判断が、その文書の内容に基づいている状態です。

4．正本として登録・更新されている

その文書が、今後の正式な判断根拠として登録され、旧版や競合資料との関係も更新された状態です。

整理すると、こうなります。

保存
  ↓
取得・参照
  ↓
根拠として採用
  ↓
正本として登録・更新

資料をアップロードしただけで、四段階すべてが完了するわけではありません。

私は以前、長時間のAIセッションを振り返った記事で、69のファイルを渡し、90の成果物を作ったときのことを書きました。

その作業では、資料の中に答えが書かれているのに、その内容が回答へ反映されず、一般論が返る場面がありました。

厳密には、AIが内部でその資料を読まなかったのか、読んだうえで回答に使わなかったのかは、外からは判定できません。観察できたのは、資料の内容が回答に反映されなかったことです。

保存されていることと、その回答で使われることは別でした。

何も設計しなければ、AIはその場で読めるものへ寄ります

正本の条件がなく、必要な資料を取得する経路も決まっていないとき、AIは何も答えずに止まるとは限りません。

主に、その時点で利用できるものから答えを作ります。

• モデルが持つ一般的な知識
• 現在の会話に残っている内容
• 直前に強く示された情報
• 実際に取得できた一部の資料
• 文脈から推測した優先順位

その答えが合うこともあります。

ただし、それは、組織や本人が定めた正本へ従ったのではなく、その場で得られた情報から、もっともらしい答えを組み立てたものかもしれません。

文章が自然に完成しているだけでは、どの資料が取得されなかったかは分かりません。

ここからは、実験結果ではなく設計の話です

二つの実験で直接確認したのは、管理情報があれば、AIが現行版や権威を識別できたところまでです。

次のことは、今回の実験では試していません。

• AIによる正本台帳の自動更新
• 旧版の自動失効
• AIへ正式な更新権限を与える運用
• 誤更新時の差し戻し
• 自動更新の安全性や再現性

ここから先は、今回の結果と、現在利用できるエージェント機能から組み立てた設計案です。

今回、自動運用まで実証したという意味ではありません。

AIは、正本の選定・登録・更新を担えます

AIが正本を扱えない、というより、

何をもって正本とするかが設計されていなければ、正式な選定にならない

という方が正確です。

たとえば、正本の条件を次のように定めたとします。

・状態が「承認済み」である
・施行日が到来している
・適用対象が今回の質問と一致する
・同じ文書IDの中で、版番号が最も新しい
・承認者が登録されている
・後継文書がある場合は、旧版を失効にする
・矛盾がある場合は、自動確定せず保留する

さらに、AIが必要な資料を取得でき、文書管理システムを更新する権限を持っていれば、次の処理ができます。

1. 新しく承認された文書を検知する
2. 正本の条件を満たすか確認する
3. 既存の正本と、版・内容・適用範囲を比較する
4. 条件を満たせば、正本索引へ登録する
5. 旧版へ失効状態を付ける
6. 判断理由と更新前後を記録する
7. 矛盾や不足があれば、確定せず担当者へ返す

ここまで行えば、AIは資料を案内する司書というより、文書管理者に近い役割を担います。

組織が、この処理を正式な更新手続として認めるなら、運用上はAIが正本を確定したと言えます。

ただし、その正式性を成立させているのは、AIの自信ではありません。

事前に定めた条件と、組織から委ねられた権限です。

能力・権限・責任は別です

AIへ仕事を任せるとき、三つを分けます。

能力

AIが、版、施行日、適用範囲、承認状態を読み、正本候補を選べるか。

今回のNotebookLM実験では、管理情報を持たせたMixedの版・権威6問で、6/6件、現行資料を識別しました。

権限

AIが、候補を示すだけなのか、正本台帳を更新してよいのか。

これは、システムと運用で与えるものです。

責任

誤った正本が登録された場合、誰が修正し、その結果を誰が引き受けるのか。

これは、AIへ処理を任せたからといって自然に決まるものではありません。

能力があること。
権限を与えること。
責任を置くこと。

この三つを混ぜないようにします。

定義できた判断は、仕組みに移せます

長時間のAIセッションを振り返った記事で、私はこう書きました。

記憶の限界は、仕組みで補える。判断の限界は、補えない。

今は、少し言い換えます。

現行版か。
施行日を過ぎているか。
承認済みか。
適用対象が一致するか。
文書同士が矛盾しているか。

このように、条件として外へ出せる判断は、仕組みに移せます。

毎回、人が一から選ぶ必要はありません。

一方で、次の判断は残ります。

• 何を正本の条件とするか
• 誰の承認を正式とみなすか
• 価値が衝突したとき、何を優先するか
• 想定外の例外を認めるか
• どこまでAIへ委ねるか
• 誤ったとき、誰が結果を引き受けるか

現在の私の整理は、次です。

仕組みは、定義した判断を再現します。

人は、定義そのものと例外を引き受けます。

正本を扱える状態は、順番で作ります

AIへ資料を大量に渡せばよいわけではありません。

必要なのは、資料をどう扱うかの情報と、その情報を実際の処理へ反映する経路です。

正本を判断できる情報
  ↓
必要な資料を取得する経路
  ↓
優先順位と停止条件
  ↓
登録・更新する権限
  ↓
記録と検収

これは、今回の実験で数値として導いた式ではありません。

正本を扱うための成立条件を、処理の順番として並べた設計図です。

図1｜正本を扱うために必要な五つの成立条件

どれかが欠けると、次のようなことが起きます。

• 管理情報がない

→ どれが現行かを推測する

• 取得経路がない

→ 正本が存在しても、その回答で使われない

• 優先順位がない

→ FAQと正式規程を同じ重さで扱う

• 停止条件がない

→ 矛盾があっても、もっともらしい一つの答えを作る

• 権限がない

→ 候補は示せても、台帳を更新できない

• 記録がない

→ なぜその文書を正本にしたのか、後から追えない

AIへ資料群を任せる前に、一枚だけ書く

細かな管理項目は増やせます。

ただ、最初から多くすると、整えること自体が仕事になります。

私は、まず次の一枚を書きます。

【目的】
この資料群を、何の判断に使うか

【正本の条件】
承認状態、版、施行日、適用対象、所有者

【取得する資料】
この作業で必ず読む文書と、その順番

【優先順位】
資料が食い違った場合、何を優先するか

【除外資料】
根拠として使わない資料

【AIの権限】
候補提示／承認待ち更新／自動更新

【停止条件】
AIだけで確定してはいけない状態

【記録】
使った資料、判断理由、更新前後、承認者

これは、一回の質問に使う長いプロンプトではありません。

AIが正本を扱うための、仕事の仕様です。

整理の価値は、AIを完全にすることではありません

今回の実験では、

• 整理された資料群
• 整理されていない資料群

を直接比較していません。

したがって、管理情報を付ければ回答精度が何ポイント上がる、という数字は出していません。

二つの実験で使ったのは、版、状態、適用範囲などを比較的きれいに整えた架空文書です。

その条件でも、NotebookLMの完全回答は、CleanもMixedも17/30件でした。また、質問に直接必要ではない現行文書を、補足的な根拠として加えた例も7件ありました。

正本を整えることは、AIを完全にする保証ではありません。

価値は、別のところにあります。

AIが何を使い、何を使わず、どこで間違えたかを、検査できるようになることです。

正本の条件があれば、違う資料を使ったと分かります。

取得経路が決まっていれば、読むべき資料を読まなかった可能性を調べられます。

適用範囲があれば、対象の取り違えを見つけられます。

停止条件があれば、AIが答えすぎたと判定できます。

記録があれば、誤りが起きた場所まで戻れます。

整理は、誤りをゼロにするためだけのものではありません。

誤りを発見し、戻し、次の判断へつなげるための仕組みです。

今回、測ったことと、まだ測っていないこと

今回、実験で直接確認したのは次です。

• AI検索は、通常検索より多くの必須文書を短い時間で回収した
• 管理情報を持たせた資料群では、旧版やドラフトの誤採用が起きなかった
• 版・権威を問うMixedの6問で、現行資料を識別した
• 引用元を追跡できても、回答の完全性や引用集合の再現性は別だった

一方、次は今回直接試していません。

• AIが正本台帳を自動更新する運用
• AIが旧版を自動失効させる処理
• AIへ正式な更新権限を与えた場合の安全性
• 誤更新時の差し戻しと監査
• ChatGPT、Claudeなど他社製品での同一条件の再現

したがって、AIによる正本の選定・登録・更新は、今回の版識別結果を足場にした設計案です。

今回、自動運用まで実証したという意味ではありません。

AIに足りないのは、必ずしも判断能力ではありません

AIは、十分な情報があり、必要な資料を取得でき、条件が明示されていれば、正本候補を選べます。

更新権限と処理手順があれば、登録、旧版化、索引更新まで行えます。

一方、何も設計されていないとき、AIは空白のまま止まるとは限りません。

一般論と、その場で読めるコンテキストから、もっともらしい答えを作ります。

だから、AI導入で最初に決めるのは、

AIに判断させるか、人が判断するか

という単純な二択ではありません。

決めるのは、次です。

どの判断材料を必ず読ませるか。

どの条件ならAIだけで確定してよいか。

どこから承認を求めるか。

誤ったとき、誰が戻すか。

AIの精度を調べていたはずが、最後に残ったのは、AIの設定だけではありませんでした。

正解の条件を定めること。
正解へ辿り着く経路を作ること。
正解として扱う権限を配置すること。
例外と責任の戻り先を決めること。

この仕事でした。

二つの実験で使った文書設計、質問、分類、採点基準と、正本の条件・取得経路・権限・停止条件を決める記入用の一枚は、円卓の書庫にまとめています。自分の資料群を整えるときに、そのまま使える形です。

AIには、正本の候補を選び、条件を満たす文書を登録・更新するところまで任せられます。

人が引き受けるのは、すべての資料を毎回選ぶことではなく、何を正本とするかの条件、どこまで委ねるかの権限、例外時に誰が責任を持つかを決めることです。