一か所にまとめた資料をAIに探させると、何が変わるのか

資料を一か所にまとめて、AIに探させれば、通常のキーワード検索より速く見つかる。

感覚としては、そうだろうと思っていました。

では、必要な資料だけでなく、普段なら気づかない資料まで見つけやすくなるのでしょうか。

また、AIが複数の資料を引用したとき、その資料は、質問に本当に必要だったのでしょうか。

ここは、感覚では分かっていても、数字では見たことがありませんでした。

そこで、架空の文書を一つのGoogle Driveフォルダにまとめ、同じ質問を、GeminiによるAI検索と通常のキーワード検索の両方で調べました。

結果は、概ね予想していたとおりでした。

AIは、必要な資料を速く拾いました。

一方で、AIだけが、通常検索では見つからない資料を一貫して発見したわけではありませんでした。

感覚だった違いを測ったことで、AI検索が変えることと、変えないことが見えるようになりました。

最初の18文書では、差がきれいに出すぎました

実は、この実験は、最初から72文書で始めたわけではありません。

最初に用意したのは、18件の短い架空文書です。

その小規模な実験では、通常検索が見つけられなかった3件の資料を、AIは3件すべて見つけました。

• 通常検索：0/3件
• AI検索：3/3件

結果だけを見れば、

AIは、通常検索では見つからない資料を発見する

と言いたくなる数字です。

ただ、私はこの結果を、そのまま結論にはしませんでした。

文書の数が少なく、中身も短い。正解となる資料と、それ以外の資料の違いも、実際の資料置き場よりはっきりしていました。

これでは、AIの検索能力を測ったというより、AIが正解しやすい問題を作った可能性があります。

そこで、文書を作り直しました。

元の18文書を長くしたうえで、次の資料を加えました。

• 失効した旧版
• 未承認のドラフト
• 別年度や別地域の資料
• 正解と似た言葉や数字を持つ資料
• 質問とは直接関係しない背景資料

最終的な内訳は、元の採点文書18件、旧版や類似資料18件、背景資料36件の合計72文書です。各文書も約1,000〜1,450文字まで増やしました。

18文書の小規模試験と72文書の試験は合算せず、別の実験として残しています。小規模条件ではAIの差が大きく見えましたが、72文書条件では、その差はかなり小さくなりました。

72文書を、二つの方法で探しました

72文書は、すべて完全な架空資料です。

営業、財務、人事、一般管理などの文書を作り、同じフォルダに入れました。

そのうえで、18問を二つの方法で調べました。

AI検索

Gemini in Driveに、業務上の自然な質問を送ります。

各質問は新しい会話で実行し、同じ固定指示を一度だけ送りました。追質問や再生成による修正はしていません。

参照元は、実験用の72文書が入った一つのフォルダだけに限定しました。Drive全体やGmailなど、ほかの情報源は検索対象から外しています。

AI検索では、回答が画面上で完了し、回答本文と引用資料を保存できた時点を完了としました。180秒以内に完了しなければ、タイムアウトとして記録します。

通常検索

Google Driveの検索欄に、1〜3個の検索語や言い換えを入力します。

検索結果にファイル名が表示されただけでは完了にしません。

実際に候補文書を開き、本文中の根拠、または文書管理コードに到達した時点を完了としました。

18問をAI検索と通常検索で一度ずつ実行し、さらに重要な6問をAIで再実行しました。合計42実行です。

質問、正解文書、資料の分類、成功条件は実行前に固定しました。42件がすべて終了するまで、正解表は開いていません。

実行と採点の工程は分けましたが、独立した人間による実行・採点ではありません。

通常検索もAIエージェントがブラウザを操作し、採点と監査もAIによる自己監査です。

したがって、ここで比較しているのは、人間とAIの能力ではなく、

• 検索語を考えて候補を開く方法
• 質問の意味から関連資料を探す方法

という二つの検索方法です。

15・17・11・37は、何の数なのか

18問すべてに、同じ数の正解資料があるわけではありません。

18問全体で、回答に必須となる文書の延べ対象を15件、補助的に必要となる文書を2件、実行前に登録しました。

そのため、

• 必須文書の回収率の分母は15件
• 補助文書を含めた回収率の分母は17件

になります。

また、18問のうち11問には、

その役割には不要だが、質問から発見される可能性がある資料

を対象として設定しました。

対象は、質問と文書の組み合わせで延べ37件です。

これは、72文書の中に37種類の対象文書があったという意味ではありません。同じ文書が、複数の質問で発見対象になる場合があります。

この内訳を先に置くと、結果に出てくる15、17、11、37という数字を追えるようになります。

結果1　AIは、必要な資料を速く拾いました

結果は次のとおりです。

通常検索の非完了2件は、180秒のタイムアウトが1件、ブラウザ操作環境のエラーが1件です。

この2件を含めた平均が約67秒です。

完了した実行だけで比べても、通常検索は平均約60秒、AI検索は平均約22秒でした。

この実験条件では、次のことを確認しました。

AI検索は、通常検索より多くの必須文書を回収し、根拠へ到達する時間も短かった。

これは、AIが必ず正しい答えを返すという意味ではありません。

ここで確認したのは、必要な資料へ辿り着くまでの検索性能です。

AIは、検索語を知っていることへの依存を減らしました

通常検索では、資料に書かれていそうな言葉を、先に考えなければなりません。

たとえば、

• 失注レビュー
• 資金繰り
• 給与レンジ
• 緊急休暇
• 顧客A

といった言葉です。

文書名や社内用語を知っていれば、通常検索でも十分に見つかります。

実際、役割上は不要と設定した資料でも、質問に含まれる業務名詞を検索語に使える場合、通常検索は高い頻度で到達しました。

一方、AI検索では、必ずしも文書名や正確な社内用語を知っている必要はありません。

たとえば、

現在の売上状況から、資金面で注意すべきことは何か

という問いから、月次損益、資金繰り、借入条件など、意味的に関係する資料へ進めます。

今回の観察から、私はAI検索の価値を次のように捉えています。

AIは、資料へ到達するための言葉を、利用者があらかじめ知っていることへの依存を減らします。

見つからない情報を新しく作るわけではありません。

アクセスできる資料へ入る入口を増やします。

図1｜AIが変えるのは資料への入口で、検索範囲と採用基準ではない

AIが候補を探す工程の前後に、人が決める区間が残ります。検索範囲と採用基準まで、自動で決まるわけではありません。

結果2　「AIだけが普段気づかない資料を見つける」とは確認できませんでした

今回、もう一つ確かめたかったことがあります。

営業担当役には不要な財務情報や人事情報など、技術的には閲覧できるけれど、その役割には必要がない資料を事前に分類しました。

AI検索によって、そうした資料への探索障壁が、通常検索以上に下がるのではないかと考えたからです。

結果は、次のとおりでした。

数字だけを見ると、AIの方が少し高く見えます。

ただし、この差は一つの質問だけで生じていました。

しかも、その質問の通常検索側は「見つけられなかった」のではなく、ブラウザ操作環境のエラーで途中終了しています。

事前に決めていた条件では、AIと通常検索の差が複数の質問で現れることを、仮説支持の条件にしていました。

今回は、その条件を満たしませんでした。

したがって、

AIは通常検索より、役割上不要な資料を一貫して見つけやすい

という仮説は、不確定としました。

最初の18文書では、通常検索0/3件、AI検索3/3件と、きれいに分かれていました。

しかし、文書を72件に増やし、旧版や類似資料、背景資料を加えると、通常検索も11問中9問で対象資料へ到達しました。AIは10問です。

資料を現実に近づけたことで、最初に見えた大きな差は、エラーを含む1問分まで縮まりました。

事前に用意していた後続計画も、途中で二つの反復に分かれました

Phase Aとは別に、12問をAI検索と通常検索で1回ずつ試す、合計24行の後続計画を、実行前に用意していました。

この後続計画は、一度に最後まで実行できたわけではありません。

履歴を持たない新しい実行環境で24行の実行を始めましたが、9行が終了した時点で、事前に定めていた停止条件が発生しました。

その9行は、

• 完了：8件
• 実行エラー：1件

という状態で、未採点のまま凍結しました。

結果を都合よく直すためにやり直すことはせず、後の実験にも合算していません。

その後、24行のうち一度も開始されていなかった10〜24行目、合計15行だけを、B2-Cという別の反復として実行しました。

この15行に含まれていた質問が、8種類です。

つまり、当初の12問から8問を後から選び直したわけではありません。

24行のうち、先に実行済みだった9行を凍結し、未開始だった残り15行だけを続けた結果、その15行に8問が含まれていた

という経緯です。

B2の9行と、B2-Cの15行は、一つの正式な実験として合算していません。

B2-Cの内訳は次のとおりです。

質問、正解文書、実行順、検索方式、固定指示、180秒の上限は、実行前に固定しました。

B2-Cの15行はすべて実行し、13件が完了、通常検索の2件が180秒でタイムアウトしました。

後続の5つの完了ペアでも、明確なAI優位は出ませんでした

B2-Cで、AI検索と通常検索の両方が時間内に完了した5問では、

• 役割上不要な資料の発見数
• 採用した資料の精度

が、すべて同じでした。

差が出たのは1問です。

AI検索は対象資料を見つけ、通常検索は見つけませんでした。

ただし、その通常検索は、正しい現行文書へ到達する前に180秒でタイムアウトしています。

もう1問も、通常検索がタイムアウトしました。

そのため、B2-C単独ではAI優位とも、AI優位ではないとも判定せず、記述的結果としています。

ここでも確認できたのは、

AIの方が役割上不要な資料を一貫して見つけやすい、という方向差は出なかった

というところまでです。

AIにその効果がない、と証明したわけでもありません。

ここでいう「不要な資料」は、権限のない資料ではありません

この実験では、72文書すべてを、同じ個人Googleアカウントから閲覧できる状態にしました。

そのうえで、

• その役割に必要な資料
• 補助的に使える資料
• 役割上は不要な資料
• 旧版やドラフト
• 質問に関係しない資料

を事前に分類しています。

したがって、今回測ったのは、

アクセスできる資料の中で、検索方法によって発見しやすさが変わるか

です。

次のことは測っていません。

• AIがアクセス権を突破できるか
• Google Workspaceの権限制御が安全か
• 複数ユーザー間の閲覧制御が正しく働くか
• 実際の組織で情報漏えいが起きる確率

今回の結果を、「Geminiが権限を破った」という話へ変えることはできません。

一方で、実務上の判断はできます。

その人が閲覧できる資料は、通常検索でもAI検索でも見つかる可能性があります。

だから、見せたくない資料への対策は、

AIに「見ないで」と頼むこと

ではなく、

その利用者から閲覧できない状態にすること

です。

AIの主要判断は安定しても、引用する資料は毎回同じではありませんでした

Phase Aでは、重要な6問をAI検索でもう一度実行しました。

結果は次のとおりです。

• 対象資料を見つけたかという主要判断：6/6件で一致
• 対象となる役割外資料の組み合わせ：5/6件で一致
• 引用した全文書の組み合わせ：4/6件で一致

主要な判断は同じでも、引用する資料の細部は変わることがありました。

また、AI初回18回答が引用した35文書のうち、旧版やドラフトなど、意味が似ているだけの資料を誤って採用したものは0件でした。

一方で、質問に関係しない背景資料が1件、引用に混ざりました。

前回のNotebookLM実験でも、引用元を追跡できることと、必要な範囲だけが引用されていることは別でした。

今回、別のGoogle製品でも、同じ種類の現象を観察しました。

引用が付くことと、引用範囲が最適であることは、別の品質です。

ただし、今回確認したのはNotebookLMとGemini in Driveです。

ChatGPTやClaudeを含む、すべてのAI検索で同じ結果になるところまでは測っていません。

一か所に集めるだけでは、まだ足りません

資料を一か所に集めると、AI検索は使いやすくなります。

ただし、同じ場所に置くことと、同じ判断に使ってよいことは別です。

たとえば、一つのフォルダに次の資料があるとします。

• 現行版
• 旧版
• 未承認ドラフト
• 別年度
• 別地域
• 参考資料
• 顧客ごとの個別資料
• メールから転記したメモ

AIは、それらを検索できます。

しかし、どれを正本とし、どれを判断に使わないかは、資料側に情報がなければ分かりません。

今回の実験文書には、版、期間、地域、状態、文書管理コードを明記しました。

その条件では、AI検索も通常検索も、旧版やドラフトを最終的な根拠として採用していません。

通常検索は完了16件すべて、AI検索は初回18件すべてで、現行資料を識別できています。

これは、

AIが自動的に正本を決めてくれた

という結果ではありません。

どれを使うべきか判断できる材料を、文書側に持たせていた

という条件での結果です。

私は、AI検索をこのように使います

今回の結果から、私は一か所に集めた資料の検索を、次のように分けることにしました。

AIに任せること

• 自然な言葉から候補資料を探す
• 複数資料を横断して集める
• 文書名を知らない状態から入口を作る
• 回答案と根拠候補を並べる
• 通常検索で見落とした資料の候補を出す

人が先に決めること

• AIが検索してよい資料の範囲
• どの文書が正本か
• 現行版と旧版の区別
• 誰がどの資料を閲覧できるか
• どの資料を回答の根拠に使わないか

人が回答後に確認すること

• 必要な資料が全部そろっているか
• 質問に不要な資料まで混ざっていないか
• 版、期間、地域、対象者が合っているか
• 引用資料を相手へ見せてよいか
• AIの回答を、そのまま使ってよいか

AI検索は、探す仕事をかなり短くします。

ただし、検索範囲と採用基準まで、自動的に正しく決めるわけではありません。

AI検索を始める前に、最低限決めること

資料を一か所に集めてAIへ読ませるなら、少なくとも次を決めておく方がよいと思います。

1. 検索対象
   どのフォルダ・資料群だけを見るか

2. 正本
   判断根拠として使う文書はどれか

3. 版
   現行・失効・ドラフトをどう示すか

4. 適用範囲
   人、期間、地域、顧客、案件

5. 除外資料
   回答根拠に使わないもの

6. 引用の区分
   結論に必須の資料か、補足資料か

AIへの回答形式も、次のようにしておくと確認しやすくなります。

1. 結論

2. 結論に必須の文書

3. 補足として参照した文書

4. 版・期間・適用範囲

5. 指定資料だけでは確認できないこと

これなら、AIが何を見つけたかだけでなく、どの資料が本当に結論を支えているかも確認できます。

今回の結果が当てはまる範囲

今回使用したのは、単一の個人Googleアカウントです。

資料は完全な架空文書72件で、すべて同じアカウントから閲覧できる状態でした。

Geminiの参照元は、実験用フォルダだけに限定しました。Phase Aでは、フォルダ外の引用、実在情報の混入、Driveの変更は0件でした。

一方で、次の制約があります。

• 通常検索もAIエージェントによるブラウザ操作であり、人間の速度比較ではない
• 同じ主エージェントが実験準備とPhase Aの実行を担当した
• 採点と監査はAIによる自己監査である
• 個人アカウントのため、WorkspaceのACL、OU、監査ログを評価していない
• 実在する未整理の共有フォルダを使っていない
• Phase Aは18問、B2-Cは8問の小規模な観察である
• サービスや検索画面の更新で結果が変わる可能性がある

したがって、今回の数字を、すべてのAI検索やすべての組織へそのまま当てはめることはしません。

今回の条件で、数字を伴って言えるのは次のことです。

Phase Aでは、AI検索が必須文書15/15件を回収し、通常検索は13/15件でした。全計画実行の平均時間は約22秒と約67秒でした。

そして、同時に次のことも確認しました。

AIが通常検索より、役割上不要な資料を一貫して見つけやすいという差は、Phase Aでも後続のB2-Cでも確認できませんでした。

AIは探し方を変えます。何を探してよいかまでは決めません

資料を一か所に集めることには、価値があります。

文書名を覚えていなくても、AIへ自然な言葉で尋ねられる。複数資料をまたいで候補を集められる。通常検索で何度も検索語を変える時間を減らせる。

ただし、一か所に集めれば、それだけで知識が整うわけではありません。

現行版と旧版が同じ場所にある。
対象の違う資料が並んでいる。
誰に見せてよいかが決まっていない。
何を正本とするかが曖昧なままになっている。

AIは、その状態も含めて検索します。

実験に使った72文書の設計、18問と後続質問群、採点基準、固定指示、詳細な実行記録は、円卓の書庫にまとめています。自分の資料群で同じ確認をするときに使える形です。

次は、二つの実験を合わせて見えてきた、AIに資料を読ませる前に、何を決めておくべきかを書きます。

今回の結果から、私は次の線を引きました。

AIには、資料を探し、候補を集め、検索語を補うところまで任せます。

何を探してよいか、どの資料を根拠にするか、誰に見せてよいかは、人が引き受けます。