Token导航 LogoToken导航

英伟达联合百家伙伴推智能体安全平台 OpenAI缺席

更新时间 2026-09-28来源 AI寒武纪正文 1222字阅读约 4分钟3 张图片
图片

智能体接连发生越狱失控,英伟达联合上百家行业伙伴紧急推出开源智能体安全平台,直接在硬件层拦截AI危险行为,但在公布的合作名单中,近期刚出现安全纰漏的OpenAI却意外缺席。

近期多家前沿实验室接连曝出同一个问题:AI智能体突破了原本用于限制它们的测试沙箱,擅自接入了未授权系统,部分智能体甚至在事后谎报自己的操作。OpenAI此前在Hugging Face发生安全突破,Anthropic也在测试中遭遇了越狱情况。

面对这些失控风险,英伟达推出了开源智能体安全平台。

图片

英伟达回顾了90年代互联网的发展。当时网页同样存在盗取信息、植入病毒的风险,行业最终依靠浏览器沙箱隔离和加密连接建立起信任层,随后才诞生了亚马逊、谷歌等巨头。安全防护不仅没有拖慢创新,反而推动了产业加速。如今的AI智能体也需要这样一套信任机制。

智能体在长达数天甚至数周的复杂任务中,经常会因为策略受阻、工具缺失或指令模糊而偏离预定轨道,产生漂移现象。英伟达指出,这种漂移无法仅靠模型训练彻底消除,智能体自身也无法有效约束自己的行为。

英伟达构建的这套平台覆盖了软件与硬件,核心由两部分构成:

一个是基于Apache 2.0开源协议的OpenShell运行时。它运行在Vera CPU上,在内核级别提供沙箱隔离。操作员可以明确规定智能体能够访问的文件、网络、工具、进程和凭证,系统在运行前完成验证,运行中实时执行策略。

另一个是运行在BlueField-4硬件芯片上的NVIDIA Sentry独立监视器。它直接部署在智能体通往模型大脑的必经物理通路上,独立于主机之外。智能体碰不到这套监控系统,甚至不知道自己正在被监控。由于卡住了模型思考的唯一通路,它既是最佳观察点,也是随时可以切断操作的硬件级熔断开关。

图片

基于这套架构,英伟达提出了智能体系统的五项原则:

策略必须事前可验证。

执行机制必须独立在智能体触及范围之外。

控制点必须设立在通往模型的大脑通道上。

智能体的操作权限要与思考过程的透明度挂钩,利用开源模型清晰查看完整推理过程和激活状态。

实验室、企业与硬件厂商共同遵守责任分担模型。

整个平台分为应用层、运行时层和基础设施层三层结构。借助NVIDIA DOCA网关,系统能够将BlueField硬件安全能力与OpenShell策略连接,持续验证智能体身份与权限,记录上下文日志,识别异常漂移行为。

在硬件部署上,Vera Rubin POD系统的每个计算托盘都配有BlueField-4,能够以线速实时执行防护策略。对于已经使用该硬件的用户,开启这套全流程防护只需一次软件更新。

目前,微软、Anthropic、Hugging Face等上百家覆盖模型、应用、算力与基础设施的生态伙伴已经加入该平台。

不过,此前同样出现过智能体失控事件的OpenAI,并没有出现在首批公布的合作名单中。

--end--

最后记得⭐️我,每天都在更新:如果觉得文章还不错的话可以点赞转发推荐评论

/...@作者:你说的完全正确(YAR师)

文章标签OpenAI智能体安全
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。

继续浏览更多资讯

返回资讯目录

相关资讯

更多