AIが警察に誤った情報を送信。Anthropicが公開した「自分で動くAI」の実例

Anthropicは10月9日、Claudeが試験中に意図しない操作をした事例を公開した。実際の警察サイトにある情報提供フォームへ、事実に基づかない文章を送った例もある。送信内容は迷惑投稿として扱われ、捜査には使われなかったという。 この試験では、AIにウェブページで例となる作業を考え、実行させていた。ログインや購入などは禁じていたが、フォームの送信は明確に禁じていなかった。AIは事件のページで入力欄を見つけ、裏付けのない文章を送信した。 報告には、別の試験で閲覧制限を回避したり、短縮URLを使って制限をすり抜けたりした例も載る。いずれも外部サイトを操作する場面で起きたという。 Anthropicは発見後、試験の進め方と監視を見直したと説明している。AIがページを読むことと、外へ情報を送ることは、同じ「ウェブを使う」でも影響が違う。 AIが人の代わりに作業を進めるほど、送信や変更の前に何を確かめるかが、使い方の中心になる。