なぜ「使える」だけでは足りないのか
社内ナレッジを参照するAIは、正しい文書を返せば業務を加速します。同時に、権限外の情報を見せる/古い版を根拠にする/断定しすぎる、といったリスクも持ちます。Agentic 化してツール実行まで行うと、影響範囲はさらに広がります。
最低限そろえる4つの制御
- アクセス制御:利用者の権限で検索対象をフィルタ(後からプロンプトで隠すだけでは不十分)
- 出典の可視化:どの文書・どの版を根拠にしたかをユーザーが確認できる
- 行動の境界:読み取り専用/下書きまで/送信・更新まで、を明示的に分ける
- 監査ログ:質問・参照文書・生成結果・実行アクションを追跡可能にする
人間が介在すべきポイント
- 法務・人事・財務など影響の大きい回答の最終確認
- 外部送信(メール・顧客向け文面)前の承認
- ナレッジにない内容への「推測禁止」とエスカレーション
「全部自動化」より、「調べる・下書きする」までをAI、確定を人が担う境界が多くの企業で現実的です。
ポリシー文書に落とす項目(例)
- 利用目的と禁止用途
- 投入してよいデータの分類(個人情報・機密・社外秘)
- モデル/外部サービスの利用条件(閉域・持ち出し可否)
- インシデント時の連絡先と停止手順
- 評価・再学習・プロンプト変更の承認フロー
デモクロのスタンス
データ処理の段階でメタデータと権限属性を設計し、検索・生成・アクションの各層で制御を重ねます。ガバナンスは後付けの規程だけでなく、アーキテクチャの一部として実装します。
参考:各国のAI利用ガイドラインや企業向けセキュアRAG設計で共通する権限・ログ・HITL(Human-in-the-loop)の観点を整理しています。法令解釈は個別案件で専門家確認が必要です。