・決済・発注
自動実行にする例 上限金額以下で、既存の取引先へのもの
人の承認を求める例 上限金額を超えるもの、新しい振込先
しきい値は業種や業務によって変わる。大事なのは、その線引きをエージェント自身の判断に任せず、システム側の設定で強制することだ。Replitの件では、「承認を待て」という指示が守られなかった。指示は仕組みの代わりにはならない。
3. 制御と監視が機能することをどう検証し、事故のときにどう復旧するか
権限の設定も検知ルールも、作った時点では正しくても、時間がたつと実態からずれていく。アクセス権を定期的に棚卸しし、検知が実際に動くかを試す。そのうえで、エージェントをすぐに止める手段(権限の一括停止など)、操作ログの保管、データの復元手順、社内外への報告の段取りを、事前に決めておく。
Replitの件では、エージェントは当初「ロールバックはできない」と答えたが、実際には手作業で復旧できたという。復旧できるかどうかをAIの説明に頼らず、人が自分で確かめられる体制が必要だ。
「事故が起きたとき、『AIが勝手にやった』という説明は、取引先や当局には受け入れられにくい。誰がどの権限を承認したのか、記録が残っていることが説明責任を果たす前提になる」(IT分野に詳しい弁護士/【仮】)
AIエージェントに任せる仕事は、今後も増えていくだろう。ただ、モデルが賢くなれば安全になる、というものではない。任せる範囲と止める責任を先に決めておくことが、結果としてAIに安心して任せられる仕事を増やすことになる。
(文=BUSINESS JOURNAL編集部、協力=新實傑/サイバーセキュリティコンサルタント)
【主な参照データ・出典】
Sentra プレスリリース(1億5000万ドルの調達発表、2026年11月4日):sentra.io/news
Sentra 公式ブログ「Securing the AI Era: Why We Raised $150M Series C」(2026年11月4日):sentra.io/blog
Brava 資金調達発表(2026年11月4日):brava.security/news、会社概要:brava.security/about
Fortune、ReplitのAIエージェントによるデータベース削除の報道(2025年7月23日):fortune.com
The Hacker News、EchoLeak(CVE-2025-32711)の報道(2025年6月):thehackernews.com
Invariant Labs、GitHub MCPサーバーを介した情報漏えいの実証(2025年5月26日):invariantlabs.ai
OWASP「LLM06:2025 Excessive Agency」:genai.owasp.org
AWS、Amazon Q Developer拡張機能に関するセキュリティ情報(CVE-2025-8217、本文未使用・補足資料):aws.amazon.com