IT时代网11月10日消息，OpenAI 宣布已在内部研究设施中部署「控制室」系统，用于停止可能存在风险的 AI 任务，可在 35 秒内「叫停」失控的 AI 智能体。
这套系统将智能体训练、评估和数据处理任务等负载接入中央服务，由系统决定任务能否继续输出。它与只负责标记可疑行为的传统监控不同，可以主动阻止风险研究任务进一步请求输出：研究员启用任务时需向控制室请求唯一任务 ID，该标识符附加到发送给推理引擎的请求中，引擎会咨询控制室确认任务是否可以运行；一旦收到停止指令，控制室就会拒绝下一次推理请求，让引擎不再为该任务输出内容。
OpenAI 表示，从收到停止指令到阻止任务继续的最长延迟为 35 秒，延迟源于推理授权请求的缓存层，公司正努力将其缩短至 0。系统还具备自动化监控机制集成，所有前沿强化学习任务都会配备独立的模型监控器，用于检查模型行为并在发现潜在问题时发出警报。
注：本文配图由AI生成。本文综合自IT之家等，文中包含AI辅助创作的内容。
编辑：林一舟
