你有没有想过,那些让AI助手变得更聪明的"技能包",其实很容易被偷走?
最近有一类很火的东西叫Agent Skills,简单说就是给AI智能体准备的操作手册。一个开发者花了很多时间把某个领域的专业经验,比如怎么做代码审查、怎么写营销文案、怎么处理数据分析,整理成一份结构清晰的说明文档。AI读了这份文档,就能照着里面的步骤和规则去干活,不需要重新训练模型。
这事听起来挺美好,但问题也跟着来了。这些技能文档基本都是纯文本,Markdown格式,谁都能打开谁都能复制。你辛辛苦苦总结出来的操作流程和决策规则,别人复制粘贴一下就变成自己的了,甚至改头换面塞进别的技能包里卖钱,你一点办法都没有。
Agent Skills
技能文档,让AI智能体按需加载的专业知识包,不用改模型参数就能让AI掌握特定领域的操作能力。
这就是华为这帮研究者想解决的问题。他们做了一个叫SkillMarker的工具,核心思路是给这些技能文档悄悄打上水印,文档看起来和原来一模一样,但内部藏着只有持有密钥的人才能读出来的信号。哪天你怀疑自己的技能文档被人偷了,或者被人东拼西凑混进了别的文档里,拿着这份"疑似赃物"一检测,就能知道里面是不是有你的东西。
这个问题到底难在哪
给文字打水印这件事,其实学术界已经玩了好几年了。最经典的套路叫KGW水印。
KGW水印
2023年提出的一种给AI生成文本打水印的方法,原理是让模型在生成每个字词时,偷偷地更偏爱一部分词汇(叫"绿名单"词),这样生成的文本里绿名单词出现的比例会比正常文本高,事后统计一下这个比例就能判断文本是不是被打过水印。
这套方法用在聊天机器人回复、文章生成上效果不错,因为AI本来就是自由发挥,多用几个"绿名单"词几乎不影响阅读体验。
但技能文档完全是另一个物种。
想象一下,你在读一份普通文章和一份手术操作规范,心态能一样吗?文章里某个词换成近义词,读者根本感觉不到;但手术规范里"消毒三次"被不小心改写成"消毒两次",那是要出人命的。技能文档也是这个道理,里面经常嵌着代码片段、API调用、数值阈值、条件判断,这些东西一个字都不能错。论文里举了个特别扎心的例子:代码里有一行`if attempts >= 3`,意思是尝试超过3次就报错,如果水印算法图省事把`>=`改成了`>`,整个重试逻辑的边界条件就悄悄变了,而且这种改动肉眼几乎看不出来。
所以摆在研究者面前的是一道两难题。
一方面,技能文档里能自由改写的空间极小,大部分内容是代码、数字、专有名词,根本不敢动。另一方面,水印信号想要强,就得多换词多调整表达方式,改得越少信号越弱,事后越难检测出来。想要信号强就得多改,想要内容准就得少改,这两件事天生拧着来。论文管这叫"两个耦合的挑战":一个是怎么在改写时保住技能文档的功能不走样,另一个是在能改的空间很小的前提下,怎么把水印信号做得足够强。
这其实是水印技术在严肃文档场景里第一次碰到这么硬的约束。之前的水印研究大多默认"文本可以随便改一点点没关系",技能文档直接把这个默认前提打破了。
先把"不能动"的部分圈出来
SkillMarker解决第一个难题的办法,说白了就是先划红线。
论文管这个叫"质量约束重写"。具体做法是,系统先把整份技能文档扫一遍,把代码块、结构化分隔符(比如Markdown里的标题符号、表格线)、还有能识别出来的具体数值和专有名词,统统标记为"受保护内容",这些东西从头到尾不会被改动一个字。剩下的部分,也就是说明性的文字、描述性的句子,才被划为"可编辑区域"。
这就跟你请人翻修房子一个道理。你会把承重墙、电路管线、煤气管道这些事关安全的部分明确圈出来告诉装修队绝对不能碰,剩下的墙面颜色、家具摆放随便他们发挥。如果不事先画这条线会怎样?装修队可能为了让房子"看起来更协调",顺手把承重墙的位置也调整了一下,结果就是整栋楼的安全出了问题。技能文档里的代码和数值,就是那堵承重墙。
光是保护住这些"硬内容"还不够,论文里特别提到一个更隐蔽的坑:就算所有代码和数字都原封不动,光是改写旁边的大白话描述,也可能偷偷改变整个技能的行为逻辑。比如原文说"满足所有条件才执行",被水印算法悄悄改成了"满足任意条件就执行",这两个字数值上一个没变,语义却天差地别。
为了防住这种"隐形篡改",SkillMarker用了一个叫"上下文学习"的技巧,往AI的改写指令里塞进具体的示范案例,手把手教它什么叫"保留原意的改写",什么是绝对不能碰的逻辑词,比如"所有"、"任意"、"不是"这些决定判断逻辑的关键词,都被明确列为高危区域。改完之后还有一道"保真检查",专门揪出改写不完整、格式跑偏、或者不小心碰了保护内容的候选结果,直接打回去。
这里还藏着一个容易被忽略的细节,叫"词形分组"问题。
词形分组
水印算法在给词汇分"绿名单"和"红名单"时,如果没处理好,可能导致同一个词的不同写法被分到不同名单里,比如`name`被禁用但`_name`被允许,结果AI为了凑绿名单词,硬生生在正常单词前面加了个下划线,把Markdown格式都搞乱了。
SkillMarker的解法是,把那些只差一个空格或者标点的词形归成一组,统一分配同一种绿名单身份,这样就不会因为追求水印信号而把格式写崩了。
这整套"先保护再改写"的流程,解决的是一个很根本的矛盾:水印算法天生想要尽可能多地改写文本来塞入信号,而技能文档的使用场景天生要求改写越少越安全。SkillMarker没有去打破这个矛盾,而是老老实实地先把不能动的部分锁死,再在剩下的空间里精打细算。
在螺蛳壳里做道场
划完红线之后,第二个难题浮出水面:能改的空间这么小,怎么才能让水印信号足够强,强到之后真能被检测出来?
论文给出的答案叫"信号导向的候选搜索"。
简单说,对于每一处可以改写的文字段落,系统不会只生成一个改写结果就了事,而是用一种叫"束搜索"的技术,一次性生成好几个不同的改写候选版本。
束搜索
一种在AI生成文本时常用的搜索策略,不是每一步都只走一条路,而是同时保留几条"看起来不错"的路径往下走,最后从这几条路径里挑出整体最优的结果,比每次只认死理走一条路更灵活。
有了这几个候选版本之后,SkillMarker会给它们打分排座次。打分标准有两个,第一是"绿色词汇命中率",也就是这段改写里有多少词落在了水印的绿名单里,命中率越高说明水印信号越强。第二是"困惑度",这是衡量一句话读起来顺不顺、像不像正常人类语言的指标,数值越低说明文本越流畅自然。
困惑度
PPL,一种衡量语言模型觉得某段文字有多"合理"的指标,数值越低代表这段话读起来越像正常的自然语言,数值越高说明这段话可能语法别扭或者逻辑不通顺。
排序规则很直接:先比绿色词汇命中率,谁高谁赢;如果打平了,再比谁的困惑度更低,用来打破平局。这么做的逻辑是,水印强度是第一位的追求目标,但不能牺牲文本的流畅度,所以用困惑度当"兜底质量线"。
这个搜索过程还有个很细腻的设计,叫"重建文本打分"而不是"候选文本自己打分"。
为什么要这么麻烦?因为一段改写文字被单独拿出来看是一个样子,插回到整篇文档里、跟前后文拼接在一起之后,由于水印算法是根据"前一个词"来决定"绿名单"是什么的,同一段文字插进不同的上下文里,它的绿色词汇命中率可能完全不一样。如果只看候选文字本身打分,算出来的水印强度可能是虚的,实际装回文档里根本没那么强。所以SkillMarker每次都是把候选方案真的插进当前文档里,重新完整分词一遍,再统计真实的绿色命中率,这样算出来的分数才靠谱。
这就跟试衣服一个道理。你在家里对着镜子觉得这件衣服配这条裤子肯定好看,可只有真正穿出门、搭配上外套鞋子走在大街上,才知道整体效果到底行不行。如果你不在"穿出门"这个真实场景里检验,单凭想象打分,很可能买回家的衣服压根穿不出去。SkillMarker坚持把每个候选方案"穿"进整篇文档里再打分,就是不想让水印强度的数字是纸上谈兵。
有了候选、有了打分标准,剩下的就是一步步往前走:文档里每一处可编辑区域按原来的顺序依次处理,每处都挑出当前最优的改写方案,最后把所有改写片段和原本保护住的内容重新拼在一起,整篇带水印的技能文档就出炉了。
被偷了怎么证明是你的
打上水印只是第一步,更关键的是之后怎么把水印读出来,尤其是在最常见的两种"被偷"场景下:一种是别人直接复制粘贴走一段,塞进自己写的其他内容里;另一种是把你的技能文档和别的技能文档合并到一起,弄出一份"新"文档。
针对这两种场景,SkillMarker设计了"滑动窗口检测",而不是只会检测整篇文档。
滑动窗口检测
把一份可疑的长文档切成一个个固定长度、相互有重叠的小窗口,每个窗口单独统计里面的绿色词汇命中率,只要有一个窗口的信号强度超过设定的门槛,就判定这个窗口里藏着水印。
为什么要这么麻烦地切窗口,而不是直接看整篇文档的平均水印强度?因为如果偷你内容的人只复制了一小段,塞进一大堆自己写的无水印内容里,整篇文档平均下来水印信号会被严重稀释,直接检测整篇文档的平均值很可能查不出来。
论文里的实验数据很说明问题。如果往一段4096个词的无水印背景文本里插入1536个连续词的水印内容,用全文检测的方式去查,成功检出率只有55.6%,相当于每查两次就有一次是漏网的。但换成滑动窗口检测,所有测试过的这类拼接案例全部100%被查出来。这个对比够直观了,窗口检测对付"掺水"场景确实管用。
而且窗口检测不光能告诉你"有没有被偷",还能顺带告诉你"偷了哪一段"。论文把每个判定为阳性的窗口合并起来当作预测的侵权区域,拿去跟真实插入的那段内容做比对。结果显示,对于那段1536词的连续插入内容,定位的召回率能到98%到99.1%,意思是真正被抄的内容几乎全被圈出来了,不会漏判;精确率在65.4%到69.6%之间,说明圈出来的范围里确实有三分之二左右是真正被抄的部分,剩下三分之一左右是周边多圈进去的无辜文字。这个精确率不算特别高,但对于"大致定位到哪一块被偷了"这个目的来说已经够用了。
有意思的是,如果抄袭者学聪明了,把这1536个词拆成8段分散插在不同位置,检出率会从接近100%掉到77.8%。这说明把水印内容打散插入确实能一定程度上干扰检测,但依然留下了明显的痕迹,没能完全逃过去。
另一种更棘手的场景是"技能合并":把你的技能文档和一到三份别人的技能文档丢给AI,让它合并成一份"新"的综合技能文档。这种情况下水印信号会被进一步稀释,因为合并过程本身会对文字做大幅度改写。
实验显示,只合并你的技能文档本身(相当于零背景文档干扰)时,多尺度检测的检出率是91.7%;混入一份背景文档后掉到72.2%;混入三份背景文档后是77.8%。有意思的是这个下降趋势不是严格单调的,但整体上背景文档越多,检测确实越吃力,这符合"水印被稀释"的直觉。更值得留意的是,用来做对照的那些完全不含水印的文档,被误判成"有水印"的概率也跟着背景文档数量增加:零背景时是0%,混入一份是11.1%,混入三份涨到16.7%。
这组误判率的数据其实是篇很诚实的研究。它没有藏着掖着说自己百分百准确,而是老老实实告诉你,背景噪音越大,系统出错的概率也越大,所以真要上线用,还得针对具体场景做专门的阈值校准,不能直接套用论文里的默认参数。
打了水印,AI还会不会正常干活
说了这么多怎么藏水印、怎么查水印,有一个问题躲不开:往文档里塞水印信号,会不会把技能文档本身搞坏,让AI照着这份文档干活时表现变差?
毕竟前面提到过,水印的本质是在生成文字时让AI偏向性地多选一些"绿名单"词,这种偏向性选择如果玩脱了,很容易让句子变得别扭,甚至悄悄改变了原本的操作指示。这才是技能文档打水印最核心的顾虑:保护是保护了,但保护的东西还能不能用?
研究者在四个数据集上做了对照实验,涵盖日常软件开发、文档写作和信息检索、营销策划、以及需要专业操作的科学计算类任务。每个任务分三种情况跑:完全不给AI技能文档、给原始技能文档、给打了水印的技能文档,然后看AI实际完成任务的通过率。
结果是,打了水印之后,任务通过率相比原始文档的变化幅度在负2.01%到正0.93%之间波动,有涨有跌,但整体几乎可以忽略不计。具体到某个数据集上,比如agent-skills这个偏软件工程的任务集,打水印前通过率97.46%,打水印后反而涨到了98.25%。另一个偏科学计算的任务集skill-use-bench,通过率从59.85%微涨到60.41%。
这组数字背后有个更值得玩味的对比:不管有没有打水印,只要给了技能文档,AI的表现都比完全不给技能文档要好得多,提升幅度在8.49到40.3个百分点之间。这说明技能文档本身确实是有真实价值的东西,而水印这个"保护壳"基本没有偷走这个价值,顶多是让AI多花了一点点计算资源和时间去理解改写后的表达方式。
不过也不是完全没代价。打水印后AI消耗的token数量(可以理解成AI"读"和"想"的工作量)在三个数据集上涨了14.1%到29.3%,任务耗时也相应增加了6%到16.4%。这个代价来自哪里?大概率是因为改写后的句子表达方式变了,AI需要重新理解这些陌生的措辞,多花了点"思考时间"。倒是在skill-use-bench这个数据集上,token用量和耗时反而略微下降了,论文解释说这类数据本身耗时分布很不均匀,个别极端值会拉偏平均数,不一定说明水印让效率变高了。
一致性检验:拆开看每个零件的贡献
SkillMarker里其实塞了好几个独立的技术组件,论文专门做了一组拆解实验,把其中五个关键部件一个一个拿掉,看看少了哪个会出什么问题。
这五个部件分别是:改写时的保真约束、给词汇加的那个logit偏置(也就是水印信号的"推力")、束搜索、信号导向的候选排序、以及重建文本打分这个环节。
实验结果挺能说明问题的。完整版SkillMarker在一个0到100分的文本质量评分上拿到70.97分,水印强度(用一个叫z-score的统计量衡量,数值越高说明水印信号越强)是3.01。如果把"保真约束"这道红线拿掉,水印强度确实涨到了3.37,但代价是质量分跌到67.09,这正好印证了前面说的那个矛盾:约束越少,水印越强,但内容也越容易跑偏。
更戏剧性的是,如果把束搜索、信号导向选择、或者logit偏置这三个部件中的任何一个拿掉,水印强度会断崖式下跌到0.65到0.83之间,跌幅超过七成,尽管这时候质量分反而涨到了73到76分左右。这说明这三个部件才是真正撑起水印信号强度的主力,少了它们,哪怕其他条件都不变,水印基本等于白打。
唯一一个"拿掉影响不大"的部件是"重建文本打分",把它换成直接对生成文字本身打分后,质量分70.00、水印强度2.98,跟完整版几乎没区别。这倒不是说这个部件没用,而是在这组特定的测试样本里,它的贡献没有那么突出,论文也坦诚地说这个结论还需要更多数据支撑。
这组拆解实验的价值在于,它用数字告诉你SkillMarker不是一个随便拼凑的工具箱,里面每个部件各自扛着不同的职责,少了主力部件,水印就形同虚设。
写在后面
读完这篇论文,我最意外的一点是,水印技术这个听起来挺"纸上谈兵"的东西,第一次被逼着跟代码、API、条件判断这些硬核工程内容正面相遇。之前大部分水印研究的测试对象都是新闻文章、故事续写这类容错率很高的文本,SkillMarker算是把水印技术拽进了一个容不得半点马虎的场景。
还有一个细节我觉得值得单独说一说:论文里那个"词形分组"的坑,一个看起来极其琐碎的技术细节,`name`和`_name`这种空格、下划线的差异,居然能让水印算法把Markdown格式搞崩。这种问题往往是做纯理论研究时根本想不到的,只有真的拿真实的技能文档去跑,才会撞上这种"意料之外"的坑。这让我觉得,很多AI安全技术的真正难点,不在那些听起来很玄乎的算法创新上,而在这些容易被忽略的工程细节里。
另外论文里那个随着背景文档增多、误判率也跟着涨的现象,其实挺诚实的。很多论文喜欢把自己的方法包装得天衣无缝,但这篇论文老老实实把"系统在复杂场景下也会犯错"这件事摆出来了,还明确说需要额外做阈值校准。这种态度反而让我更信任这组实验数据。
技能文档这东西现在还处于早期阶段,大部分人可能都没意识到自己辛苦整理的操作手册有一天会变成"被偷的对象"。但凡是能被复制粘贴的有价值内容,迟早都要面对这个问题,技能文档只是刚好先撞上了。水印能不能成为这类数字资产的标准保护手段,可能要看接下来几年有多少真实的"被偷"案例发生。
Q&A
Q1:SkillMarker是什么?
A:SkillMarker是华为团队提出的一种基于KGW水印技术的方法,专门用来给AI智能体的技能文档打隐形水印,方便原作者之后验证所有权和追踪泄露情况,而且几乎不影响技能文档本身的使用效果。
Q2:SkillMarker会不会影响AI执行技能文档时的表现?
A:基本不会。论文在四个不同类型的任务数据集上测试,打水印后任务通过率相比原始文档只有负2.01%到正0.93%的微小波动,远小于有没有技能文档带来的8.49到40.3个百分点的差距。
Q3:如果别人只复制了技能文档的一小段内容,SkillMarker还能查出来吗?
A:能。论文测试显示,哪怕只复制了1536个连续词的内容,混进更长的无关文本里,用滑动窗口检测的方式几乎能100%查出来,比直接检测整篇文档的方式(只有55.6%检出率)要可靠得多。







