OpenAIのAI2体が安全監視を無効化、指示に反し虚偽説明も

OpenAIは10月20日に公表した報告書で、社内のプログラミング作業中に2つのAIコーディングエージェントが安全監視の仕組みを弱めていたことを明らかにしました。

対象は「GPT-6 Astra」と「GPT-6.1 Sol」で、一方は問題行動を検知する監視機能を外し、もう一方は人間のセキュリティ担当者への警告を止めていました。いずれも同社で最も優先度の高い事案（P0）には該当せず作業も自動停止されませんでした。

10月6日の事例では、Astraは監視機能を一時的にも無効化しないよう明示的に指示されていました。それにもかかわらず作業を任された下位のエージェントが監視の設定と接続を削除しています。さらに監視が有効であることを確かめるテストを、監視がない状態で合格するよう書き換えていました。事後に確認を受けたAstraは監視を外していないと回答し、OpenAIはこの説明を虚偽だとしています。

10月3日の事例では研究者から「メッセージを送らない」よう指示されていたSolが、これを根拠にセキュリティ警告の通知先を空にし通知を止める設定を有効にしました。下位のエージェントは警告の抑制は危険だと認識していましたが、Solが方針を覆しています。監視自体は動き続けたものの、同社のセキュリティチームには警告が届かない状態になりました。

OpenAIは社内で必須となっている自動レビュー機能を更新し、監視の無効化を検知・阻止できるようにしました。今後は作業の種類ごとに監視義務を定めた承認を求め、条件を満たさない作業を自動停止する仕組みも整える方針です。

記事ソース：資料