Token导航 LogoToken导航

字节跳动成立模型安全部 安全指标纳入KPI

更新时间 2026-10-15来源 搜狐科技正文 1852字阅读约 6分钟3 张图片
字节跳动成立模型安全部 安全指标纳入KPI

字节跳动成立了模型安全部门,负责人直接向技术负责人吴永辉汇报。

这条新闻的分量在组织架构里。安全部门的一把手直接向核心技术高管汇报,说明这件事在大厂内部的优先级提上来了。

AI安全从论文里的概念,变成了有编制有预算有KPI的部门。

01;为什么是现在

大模型爆发这几年,安全一直是喊得响做得少。

原因很简单,商业压力在前。模型能力落后就丢市场,安全投入不直接产生收入,能拖就拖。出了事再补救,是行业的普遍状态。

但最近风向变了。AI应用渗透到要紧的场景,金融、医疗、办公,出问题的代价指数级上升。Character.AI的破产案里,安全合规问题是压垮它的因素之一。各国监管的框架陆续落地,欧盟AI法案开始执行,中国的算法备案要求越来越细。

安全从可选项变成了资格赛。不过关,模型再强也上不了牌桌。

字节这时候成立专门部门,是被形势推着走,也是提前布局。

02;模型安全防什么

模型安全这个词覆盖的面很宽。

一层是内容安全,模型不能输出违法违规的内容,不能被诱导生成有害信息。这是国内监管的红线,备案审核主要查这个。

二层是对抗安全,防止提示词注入、越狱攻击这些绕过手段。智能体开始调用外部工具之后,这一层的风险陡增,攻击者可以通过网页内容劫持智能体的行为。

三是数据安全,训练数据里的隐私泄露,对话里的商业机密外流。企业场景对这个最敏感。

四是供应链安全,第三方模型、开源权重、插件生态,每个环节都可能被投毒。上个月还有模型权重文件被植入恶意代码的案例。

03;智能体放大了风险

今年的新变量是智能体。

以前模型只生成内容,现在的智能体会执行操作。订票、转账、发邮件,它有手有脚了。能力越强,失控的破坏力越大。

研究者已经演示过智能体被钓鱼网站诱导输密码的案例。安全测试里,谷歌的AI自己闯进了三家公司的系统,这类事件说明智能体的行为边界比内容生成难管得多。

字节的豆包和Coze平台上有大量智能体在跑,企业版接入的服务越来越多。安全部门的成立,很大程度是在补智能体这块的课。

04;汇报线的含义

组织架构的细节往往比新闻本身有信息量。

负责人直接向吴永辉汇报,跳过了中间的业务层。这个设计有两个含义。

一是权限。安全部门要给各个模型团队提要求,如果挂在业务线下面,既当运动员又当裁判,提不动。直接向技术一把手汇报,才有跨业务的约束力。

二是定位。不是成本中心,是竞争力。大客户采购AI服务时,安全资质越来越是硬指标。银行和央企的招标文件里,安全团队的独立性和汇报层级是打分项。

05;国内外的差距在哪

AI安全这个领域,国内外的打法不太一样。

国外大厂的安全团队规模大,OpenAI的超级对齐团队虽然解散重组过,但安全研究的投入是持续的。Anthropic干脆把安全当核心卖点,宪法AI的框架是它的招牌。

国内的重心在内容合规,这套体系是最成熟的,毕竟是监管刚需。但在前沿安全研究上,投入相对少。对齐、可解释性、对抗防御这些方向,国内的学术论文数量在涨,工业界的落地还浅。

字节这个部门如果能做成,对行业是个示范。安全能力从合规成本变成技术资产,这个转变需要有人先趟出来。

06;安全是门生意

多说一句,AI安全本身正在长成一个大市场。

安全评测、红队服务、内容审核系统、模型防火墙,这些产品和服务的需求在涨。国内做AI安全检测的公司订单翻倍,港股的AI安全概念今年也火过一波。

企业侧的需求最实。接入大模型的企业发现,通用模型不懂自己的红线,定制安全方案成了必需品。金融和医疗行业的单子最大,要求也最细。

字节的模型安全部门除了对内,将来不排除对外输出能力。字节云的安全产品线已经在卖,模型安全加上去是顺水推舟。

07;别指望一劳永逸

对这件事的预期也要管理好。

安全部门成立了不等于安全问题解决了。AI安全的本质是攻防对抗,是个持续过程。今天堵住这个漏洞,明天新的攻击手法又出来。

而且安全跟体验是拉扯的。管得太严,模型变得迟钝无趣。管得太松,风险敞口就大。找平衡点的过程没有终点,只有不断的迭代。

字节的这个部门能不能真起作用,得看它拿到的授权和资源,还有它跟业务团队博弈的结果。组织架构只是第一步。

08;写在最后

字节成立模型安全部门这件事,单看不大,往深看不小。

它标志着AI行业进入下半场。上半场拼能力,谁的模型跑分高谁赢。下半场拼的是可靠和安全,谁能把AI放进要害场景谁赢。

要害场景的门票就是安全资质。这件事上投入的每一分钱,都会在后面的企业市场竞争里加倍还回来。

吴永辉的汇报线上多了一个部门,AI行业的成人礼又走完了一步。野蛮生长的时代结束得比想象中快,这未必是坏事。

文章标签安全政策监管
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。

继续浏览更多资讯

返回资讯目录

相关资讯

更多