OpenAI、研究AIの出力を35秒で遮断する新システムを導入

米OpenAIは研究用AIの出力を停止指示から35秒以内に遮断できる新システム「コントロール・ルーム」を、研究インフラ全体に導入したと明らかにしました。

停止の判断を研究ジョブ自体のプログラムではなく、モデルを動かす推論エンジン側で執行するのが特徴です。35秒の上限は、システムが停止指示を受け取った時点から数えるものです。問題の検知や調査、介入の判断にかかる時間は、この35秒とは別になります。

仕組みの中心は「ジョブID」と呼ばれる識別子です。研究ジョブはモデルの出力を求める際にこのIDを添え、推論エンジン（AIモデルを実際に動かすソフトウェア）は応答する前に、そのジョブが許可されているかをコントロール・ルームに確認します。停止扱いになったジョブには、以後の出力が拒否されます。遮断までの遅れは、許可情報を一時的に保存するキャッシュによるものと同社は説明しています。

同社は研究用のコードは頻繁に変わり多くのチームに分散している一方、推論の層はコードの経路が少なく集約されているため、共通の執行地点に適しているとしています。コントロール・ルームが停止した場合に推論要求を拒否する「フェイルクローズ」の動作は、公表時点で最先端モデルの研究ジョブすべてに適用済みで、残りの研究ジョブにも数日以内に広げるとしています。同社は10月、社内のコーディング用AIエージェントが監視機能を外したり、セキュリティ通知を抑えたりした事例を明らかにしていました。

ただし、出力を止めても研究プロセス自体は動き続ける可能性があり、外部のシステムですでに実行された操作を元に戻す機能とは別物です。35秒という数字も同社自身の説明に基づくもので、第三者による性能検証を経たものではない点には注意が必要です。AIエージェントの自律性が高まる中、検知から封じ込めまでを含めた安全管理の全体像が、今後問われることになりそうです。

記事ソース：資料