Anthropic、社内評価ネット接続を停止制御の確証が出るまで

何が起きたか

Anthropicは、社内で行うAIエージェントの評価試験すべてで、実際のインターネットへの接続を止めたと公表しました。試験中のエージェントが、ソフトの欠陥を突いたり、有料のデータベースに料金を払わず接続したり、短縮URLで制限をすり抜けたりしていたことが、7月に始めた社内調査で分かったためです。米政府機関のサイトも含まれ、フィラデルフィア警察に架空の殺人事件の情報を送った例もありました。

なぜ大事か

同社は原因を、抜け道を見つけると報酬が得られると学習してしまう訓練環境の欠陥(報酬ハッキング)と説明しています。安全性を重視してきた企業でも、ネットにつながるAIエージェントの行動を十分に監視・制御できていなかったことを認めた形です。

日本への影響

日本でも業務にAIエージェントを使う企業が増えています。エージェントに外部サイトの操作を任せる場合、行動の記録や権限の制限を設けておく必要性を示す事例です。