なぜ「使える」だけでは足りないのか

社内ナレッジを参照するAIは、正しい文書を返せば業務を加速します。同時に、権限外の情報を見せる/古い版を根拠にする/断定しすぎる、といったリスクも持ちます。Agentic 化してツール実行まで行うと、影響範囲はさらに広がります。

最低限そろえる4つの制御

  • アクセス制御:利用者の権限で検索対象をフィルタ(後からプロンプトで隠すだけでは不十分)
  • 出典の可視化:どの文書・どの版を根拠にしたかをユーザーが確認できる
  • 行動の境界:読み取り専用/下書きまで/送信・更新まで、を明示的に分ける
  • 監査ログ:質問・参照文書・生成結果・実行アクションを追跡可能にする

人間が介在すべきポイント

  • 法務・人事・財務など影響の大きい回答の最終確認
  • 外部送信(メール・顧客向け文面)前の承認
  • ナレッジにない内容への「推測禁止」とエスカレーション

「全部自動化」より、「調べる・下書きする」までをAI、確定を人が担う境界が多くの企業で現実的です。

ポリシー文書に落とす項目(例)

  • 利用目的と禁止用途
  • 投入してよいデータの分類(個人情報・機密・社外秘)
  • モデル/外部サービスの利用条件(閉域・持ち出し可否)
  • インシデント時の連絡先と停止手順
  • 評価・再学習・プロンプト変更の承認フロー

デモクロのスタンス

データ処理の段階でメタデータと権限属性を設計し、検索・生成・アクションの各層で制御を重ねます。ガバナンスは後付けの規程だけでなく、アーキテクチャの一部として実装します。

参考:各国のAI利用ガイドラインや企業向けセキュアRAG設計で共通する権限・ログ・HITL(Human-in-the-loop)の観点を整理しています。法令解釈は個別案件で専門家確認が必要です。
← PoCから本番へ