結論
社内RAGの品質は、利用する生成AIモデルだけでは決まりません。検索対象にする文書の正しさ、アクセス権、更新状況、検索結果、回答の出典を継続して管理できるかが重要です。
IPAのテキスト生成AI導入・運用ガイドラインでは、RAGについて、特定分野の回答精度向上が期待できる一方、部門やプロジェクト単位で文書領域を分ける運用、既存規程との整合、利用率などが課題として整理されています。経済産業省・総務省のAI事業者ガイドライン第1.2版も、RAGで検索・参照するデータについて、正確性と必要に応じた最新性の確保に留意するよう示しています。
1. 先に利用場面と回答しない範囲を決める
「社内のことを何でも聞けるAI」を目標にすると、対象文書と評価基準が広がりすぎます。最初は、人が正答を確認でき、誤りが外部送信や重要判断に直結しない用途に絞ります。
例えば、社内手続の案内、製品仕様の検索、過去提案の探索などです。一方、契約判断、人事評価、顧客への確約などは、参照文書だけでは判断できない条件や例外があるため、回答制限や人への引き継ぎを設計します。
2. 登録文書に所有者と有効期限を持たせる
古い文書と新しい文書が同時に検索されると、もっともらしい誤回答が生まれます。登録時に少なくとも次を管理します。
- 文書の正式名称と版
- 所有部門と更新責任者
- 公開日、更新日、有効期限
- 正式版か参考資料か
- 対象者とアクセス区分
- 廃止・差し替えの手順
同じ手順を説明する文書が複数ある場合は、正本を決めます。RAGへ投入する前の文書整理が、回答品質の基礎になります。
3. 文書の権限を回答にも引き継ぐ
利用者が本来閲覧できない情報を、生成AIの回答を通じて得られる状態は避けなければなりません。文書保管場所の権限だけでなく、検索インデックス、キャッシュ、ログ、管理画面、回答履歴まで含めて確認します。
部門、役職、プロジェクトなどの単位で検索領域を分け、退職・異動・案件終了時に権限が更新される仕組みを決めます。外部サービスを利用する場合は、入力・参照データの保存、学習利用、再委託、削除、ログ管理についても、法務・情報セキュリティ担当と契約や設定を確認します。
4. 回答と一緒に出典を確認できるようにする
RAGの回答には、参照した文書名、該当箇所、版、更新日への導線を付けます。利用者が原文を確認できなければ、誤りを見つけにくくなります。
出典が見つからない質問、複数文書で内容が矛盾する質問、権限外の質問では、推測して回答するのではなく「回答できない」と返し、人や正式窓口へ案内する設計が重要です。
5. 実際の質問で継続評価する
導入前に、利用部門から代表的な質問と正答を集めます。評価では、文章の自然さだけでなく、次を確認します。
- 必要な文書を検索できたか
- 回答が原文と一致しているか
- 出典が正しく表示されたか
- 古い版や権限外文書を参照していないか
- 回答すべきでない質問を止められたか
- 利用者が回答後に業務を進められたか
誤回答が出た場合は、モデル変更だけでなく、文書、分割方法、メタデータ、検索、質問、回答ルールのどこに原因があるかを切り分けます。
社内RAGを支えているのは、モデルの性能だけではありません。文書管理、権限管理、回答評価という三つの運用を継続的に回し続けられるかどうかが、利用者が根拠を確認しながら業務を進められるかを左右します。