引用が付いていれば、答えは信用できるのか

NotebookLMは便利だ、という話をよく聞きます。私もそう思います。

自分で選んだ資料を入れて質問すると、回答だけでなく引用元まで示してくれます。一般的な生成AIの回答より、どの資料をもとにしたのかを確認しやすい。過去の記事、講義資料、調査記録、社内文書などをまとめて扱うときには、よくできた仕組みです。

ただ、以前から一つ気になっていました。

回答に引用が付いているとき、その引用は何を保証しているのでしょうか。

引用元へ戻れること。
引用した資料が、その質問に使えること。
判断に必要な条件や例外が、すべて拾われていること。
質問に必要な範囲だけが、根拠として使われていること。
同じ質問をすれば、次も同じ根拠を使うこと。

これらは、同じ話なのでしょうか。

感覚としては、引用が正しくても、必要な情報が全部そろうとは限らないだろうと思っていました。ただ、実際にどの程度なのかは把握していませんでした。

そこで、架空の文書を作り、NotebookLMに質問して確かめることにしました。

結果に驚いたわけではありません。概ね、予想していたとおりでした。

ただ、感覚だったものを数字にしたことで、どこまで任せてよく、どこから確認すべきかは、以前より明確になりました。

30文書、約23万文字を用意しました

今回用意したのは、完全な架空の社内規程30文書です。

総文字数は234,468文字、合計213ページです。

内容は、経費、出張、休暇、情報管理、在宅勤務、購買、営業、緊急時対応などです。単一の規程を見れば答えられる質問だけでなく、複数の規程を組み合わせなければ答えられない質問も作れるようにしました。

同じ文書群から、二つのNotebookを作りました。

一つ目は、現行・承認済みの18文書だけを入れたCleanです。

もう一つは、その18文書に加えて、失効済みの旧版、未承認のドラフト、FAQ、別の地域や雇用区分に適用される資料、内容がよく似ている資料など12文書を加えたMixedです。

質問は30問です。

• 単一の資料で答える質問：6問
• 複数の資料を統合する質問：6問
• 条件や例外を扱う質問：6問
• 版・権威・優先順位を見分ける質問：6問
• 資料内に回答根拠がない質問：4問
• 前提の確認が必要な曖昧な質問：2問

Cleanで30回答、Mixedで30回答を取得しました。

さらに、この30問の中から複数の区分にまたがる重要な6問を選び、Mixedでもう一度実行しました。この再現性確認用の6問は、版・権威を問う6問とは別の集合です。

NotebookLMの回答は、合計66件です。各質問では同じ形式の指示を一度だけ送り、追質問や再生成による修正は行っていません。

質問、正解、3点・2点・1点・0点の採点基準は、実行前に固定しました。

実験全体の未採点記録を保存した後に正解表を開き、回答を見てから合格条件を変更することはしていません。

一方、採点と監査はCodex（ChatGPT）が行ったAIによる自己監査です。実行と採点のContextは分けましたが、独立した人間による採点ではありません。この点は、今回の結果を読むための条件として残しています。

まず、よくできていたこと

NotebookLMの66回答は、すべて完了しました。

回答時間の中央値は約21秒で、最も長い回答でも約43秒でした。

内容面では、次の結果になりました。

回答根拠がない4問では、CleanとMixedの両方で4/4件、適切に回答を保留しました。そのうち再試験した1件でも、同じように回答を保留しました。

曖昧な2問では、CleanとMixedの両方で2/2件、回答を断定せず、前提の確認を求めました。そのうち再試験した1件でも、同じ対応でした。

旧版、ドラフト、適用外資料を加えたMixedでも、それらを現行の正しい根拠として採用した回答はありませんでした。

ただし、今回の文書には、版番号、施行日、現行・失効・ドラフトの状態、適用対象、文書の権威を明記しています。NotebookLMが資料を区別するための材料を、文書側に用意した条件での結果です。

ここは、NotebookLMだけの性能として切り離さず、文書側が区別できる状態に整っていたから得られた結果として扱います。

危険な旧版は使わなくても、必要のない資料まで使うことがありました

失効済みの旧版や未承認ドラフトの誤採用は0件でした。

その一方で、事前の正解表ではその質問に無関係と分類していた現行文書を、回答の正の根拠として加えた例が7件ありました。

内訳は、Cleanで3件、Mixedで4件です。

つまり、

古い資料や危険な資料を使わなかった

ことと、

質問に必要な資料だけへ、きれいに絞れていた

ことは同じではありません。

関連して見える資料を加えることで、回答が親切になる場合もあります。ただ、根拠の範囲が広がるほど、読者はどの資料が結論に本当に必要だったのかを見分けにくくなります。

引用を確認するときは、間違った資料が入っていないかだけでなく、

この資料は、今回の質問に本当に必要だったか

も見る必要があります。

初回60回答のうち、26回答では必要な情報が全部そろいませんでした

条件、例外、必要な手続、補助規程、根拠まで、採点基準上必要なものがすべてそろった回答は、次の結果でした。

CleanもMixedも、完全回答は17/30件、約57％でした。

初回60回答をまとめると、34回答が完全回答でした。

残る26回答では、主な結論が合っていても、判断に必要な情報が全部はそろいませんでした。

今回の「完全回答」は、主な結論が合っているだけでは合格にしていません。

たとえば、休日勤務には部門長の承認が必要だと正しく答えていても、緊急時には開始時点で連絡し、翌営業日に記録を残すという手続が抜けていれば、完全回答にはしませんでした。

実際にその回答を使う人が、次の行動で困るからです。

完全回答にならなかった主な理由は、明らかな嘘ではありませんでした。

• 例外条件の一部が抜ける
• 関連する補助規程を使わない
• 申請や記録の手続が抜ける
• 版や施行日に関する情報の一部が抜ける

今回確認したのは、次のことです。

初回60回答のうち26回答では、主な結論が合っていても、条件、例外、手続、補助規程、版情報のいずれかが不足しました。

17/30という数字は、NotebookLMの単純な正答率ではありません。

この数字が示しているのは、一度の回答だけで、判断に必要なものが全部そろった割合です。

CleanとMixedが同じ17/30でも、同じ品質だったとは言いません

CleanとMixedの完全回答数は、どちらも17/30でした。

ただ、この数字だけで、

旧版やドラフトを混ぜても、回答品質は変わらなかった

とは判断しません。

版・権威・優先順位を問う6問では、Clean側に旧版、ドラフト、別地域資料が入っていません。

それにもかかわらず、事前に固定した採点基準では、それらとの比較まで必須事実として求めていました。そのため、Cleanの版比較6問は構造上、不利な条件を含んでいます。

回答を見た後で基準を変更すると実験の意味が変わるため、採点条件はそのまま残し、この制約を開示しました。

一方、Mixedで直接確認できた事実は明確です。

版・権威を問う6問では、6/6件で現行資料を識別しました。旧版、未承認ドラフト、適用外資料、内容が似ているだけの資料を、現行の正しい根拠として採用した回答は0件でした。

ここまでは、今回の条件で言い切れます。

「引用精度」という一つの言葉では足りません

今回の実験をして、引用には少なくとも五つの見方があると考えるようになりました。

1．引用元を追跡できるか

どの資料を使ったのか確認できるか。

引用元追跡の対象は、資料を根拠に回答した57件です。

内訳はClean 26件、Mixed 26件、再試験5件で、そのうち55件で文書と根拠を正しく追跡できました。

2．引用した資料は妥当か

現行の資料か。質問の対象となる人、期間、地域に適用できるか。

Mixedでは、旧版、ドラフト、適用外資料を正しい根拠として使った回答は0件でした。

3．必要な根拠が全部そろっているか

引用した一つひとつが正しくても、必要な補助規程や例外が抜けていることがあります。

今回、初回60回答のうち26回答で、必要な情報が全部はそろいませんでした。

4．必要のない資料まで混ざっていないか

事前の正解表では無関係と分類していた現行文書を、正の根拠として加えた例が7件ありました。

必要な資料の不足と、必要でない資料の追加は、別の問題です。

5．同じ質問で、同じ根拠を使うか

複数の質問区分から選んだ再現性確認用の6問を、Mixedでもう一度実行しました。

主要な判断は6/6件で一致しました。

しかし、正の根拠として使った文書の組み合わせまで完全に一致したのは、3/6件でした。

つまり、

引用が付いている

＝出所を確認しやすい

これは、今回の結果から言えます。

一方で、

引用が付いている

＝判断に必要な資料がすべて使われている

＝質問に必要な資料だけが使われている

＝次回も同じ根拠が使われる

とは扱えません。

引用の追跡可能性、妥当性、完全性、範囲、再現性は、別々の品質です。

この五つを、一つの引用の周りに重ねず、別の確認項目として並べると、図1のようになります。

図1｜引用が付いていても、五つの品質は別々に確かめる

引用があるという事実だけで直接分かるのは、出所へ戻る入口があることです。妥当性、完全性、範囲、再現性は、それぞれ別に確認する必要があります。

一番気づきにくいのは、明らかな誤答ではありません

明らかに間違った答えであれば、読む側も立ち止まれます。

存在しない制度を作る。期限を大きく間違える。失効した規程を現行版として使う。

そうした誤りは、比較的見つけやすいものです。

難しいのは、主な結論が合っている回答です。

文章として整っている。
質問にも答えている。
引用も付いている。

ただし、必要な例外が一つ抜けている。
あるいは、関連して見えるだけの資料が、根拠として加わっている。

この状態は、完成品に見えます。

とくに、自分が元の資料を詳しく知らない場合、抜けていることにも、余計な資料が混ざっていることにも気づけません。

今回目立ったのは、大きな嘘ではなく、必要なものの一部が静かに抜け、関連して見えるものが静かに足される回答でした。

AIの答えを確認するとき、「間違っていないか」だけでは足りません。

この判断に必要な条件、例外、手続、関連資料は、全部そろっているか。

同時に、

引用した資料は、今回の質問に必要な範囲へ絞られているか。

こちらも確認します。

NotebookLMを、どこまで使うか

今回の結果から、私はNotebookLMを次のように使うことにしました。

任せること

• 関連資料を探す
• 複数資料の概要をまとめる
• 回答案を作る
• 根拠になりそうな箇所を示す
• 資料内に答えがあるかを一次判定する

人が確認すること

• 引用した資料が現行版か
• 質問する人や状況に適用できるか
• 条件と例外がそろっているか
• 必要な手続や補助規程が抜けていないか
• 引用した資料が、質問に必要な範囲へ絞られているか
• 関連しているだけの資料を、根拠として広げすぎていないか
• そのまま相手へ伝えてよいか

そのまま任せないこと

• 人事、法務、給与、懲戒などの最終判断
• 契約や制度の無確認な案内
• 引用があることだけを根拠にした外部共有
• 「資料に書かれていない」という最終断定

NotebookLMは、答えを確定する装置というより、根拠へ近づくための装置として使う方が合っています。

回答の形式も、先に決めておく

NotebookLMへ質問するときは、単に「答えてください」と頼むより、回答の項目を先に決めておく方が確認しやすくなります。

私は、少なくとも次の形にします。

1. 回答状態
   回答可能／一部のみ回答可能／回答根拠なし／確認質問が必要

2. 結論

3. 成立する条件

4. 例外

5. 必要な手続・記録

6. 使用した文書
   文書名、版、施行日、該当箇所

7. 指定資料だけでは確認できないこと

8. 補足として参照した文書
   結論に必須か、参考情報かを区別する

そして、次の一文も加えます。

指定資料に直接の回答根拠がない場合は、近い資料で補わず、「回答根拠なし」としてください。部分的に回答する場合は、回答できる部分と確認できない部分を分けてください。結論に必須ではない資料を使う場合は、補足であることを明記してください。

この形式なら、AIが何を答えたかだけでなく、何を答えていないか、どの資料が結論に必須なのかも見えやすくなります。

今回の結果が当てはまる範囲

この記事が扱っているのは、個人GoogleアカウントのNotebookLMで、実行画面にPROと表示された環境です。

使用したのは、版、施行日、状態、適用範囲を比較的きれいに整えた、完全な架空文書30件です。実在する会社の未整理な共有フォルダや、実際の機密情報を使った結果ではありません。

また、採点と監査はAIによる自己監査です。独立した人間の採点は、今回の範囲に含めていません。人間による資料検索との正式な速度比較も行っていません。

そのため、今回の結果をNotebookLM全体の恒久的な精度として扱うことはしません。

今回の条件で、数字を伴って言えるのは次のことです。

資料を根拠に回答した57件のうち、55件で引用元を追跡できました。旧版やドラフトなどの誤採用は0件でした。回答根拠がない4問では、CleanとMixedの両方で4/4件、適切に止まりました。

そして、同時に次のことも確認しました。

初回60回答のうち26回答では、主な結論が合っていても、判断に必要な情報が全部はそろいませんでした。また、事前には無関係と分類した現行文書を、根拠として加えた例が7件ありました。

引用は、答えの完全性ではなく、確認の入口です

NotebookLMは便利です。

引用が付くことにも、大きな価値があります。

ただ、引用は「この答えは完全です」という証明書ではありません。

引用が示してくれるのは、

ここから確認できます

という入口です。

引用元へ戻り、条件と例外を確認し、必要な資料がほかにないかを見る。関連しているだけの資料を、根拠として広げすぎていないかも確かめる。

その工程まで含めて使うなら、NotebookLMは資料を読む仕事をかなり助けてくれます。

実験に使った文書設計、30問の質問、採点基準、固定プロンプト、詳細な結果は、円卓の書庫にまとめています。自分の資料で同じ確認をするときに、そのまま使える形です。

次は、一か所にまとめた資料をAIに探させると、通常の検索と何が変わるのかを書きます。

今回の結果は、概ね予想していたとおりでした。

ただ、感覚だったものを数字にしたことで、私は次の線を引けるようになりました。

NotebookLMには、資料を探し、回答案を作り、根拠候補を示すところまで任せます。

その答えを誰に適用し、何を最終的に伝えるかは、人が引き受けます。