一场直播,刷新了大众对 AI 商品的认知。
11月2日晚,李佳琦直播间上架了一件“看不见摸不着”的商品——千问办公Token。开卖仅半小时,10万份个人会员月卡售罄,累计约2万亿Token。消息一出瞬间震惊整个 AI 行业。
曾经直播间的主角是口红、护肤品,如今代表 AI 算力额度的 Token,成了双十一的全新爆款,评论区满屏刷起 “321,上Token”,不少普通用户第一次听说这个陌生的技术名词。
Token(词元)是什么?
很多人不禁发问:这个被疯狂抢购的 Token,到底是什么?它和我们熟悉的字节又有什么不同?
Token,官方中文名称叫词元,是大模型看懂、处理文字信息的最小语义单元。AI 并不会直接读取我们输入的汉字、字母,它会把一段话切割成若干个词元片段,有的是完整词语,有的是词根、字块,再交给神经网络运算推理。
为什么人工智能时代的基础计量单位要用Token,而不是字节(B)?
那为什么 AI 时代要用 Token 做计量单位,而不用我们熟悉的字节?核心在于两者衡量的对象完全不一样。
Token 统计的是AI 思考、运算的工作量,代表模型处理信息要付出多少算力成本;同样一段文字,切割出来的词元数量,直接决定大模型的计算负担、计费额度与对话窗口上限。如果改用字节来计量,只能看到文本文件的物理大小,无法反映 AI 实际推理的消耗。
比如英文单词 “hello” 存储只占 5 字节,但 AI 处理时仅算作 1 个 Token,用字节统计会严重偏离真实算力开销,因此大模型行业普遍选择 Token 作为核心计量单位。
再说字节(Byte,简写B)
字节是计算机底层硬件层面的存储单位,1字节等于8个二进制位比特(bit),取值从0到255。一个英文字母通常占1个字节,一个汉字通常占2到3个字节,Emoji可能占4个字节。我们熟悉的KB、MB、GB、TB,往上翻的每一步都是在字节的基础上做乘法。字节是信息时代的“尺子”,量的是磁盘、内存和文件大小,而不是智能处理的深度。用来衡量文件、数据的物理体积。我们手机存储、文档大小、网络流量,全部依靠字节、KB、GB 计量。
它只关心数据存起来占多大空间,本身不带任何语义含义,不管内容是诗歌还是乱码,字节只记录数字,不理解文字表达什么意思。简单概括:字节管 “存多少”,Token 管 “AI 算多少”。
最后一个现实问题:日常写文章、看科普,到底是写 Token 好,还是用词元好?
全国科学技术名词审定委员会已经推荐 “词元” 作为 AI 领域 Token 的标准中文译名,面向全社会试用。面向普通读者科普时,优先写 “词元”,可以降低理解门槛,不用读者再翻译外来英文;但在行业交流、看 API 文档、查阅技术资料时,“Token” 依旧是全球通用习惯叫法,无法完全替代。
实操上更推荐组合写法:首次出现写 “Token(词元)”,兼顾行业习惯与中文术语规范。单纯只写 Token,普通读者容易一头雾水;一味只用 “词元”,技术圈的人又会觉得不习惯。两种叫法并非对立,面向大众多讲词元,技术沟通保留 Token,才是更稳妥的选择。
从直播间卖出 2 万亿 Token 这件事可以看到,AI 已经走出实验室,变成普通人可以直接下单消费的商品。搞懂 Token 与字节的区别,也能帮我们看懂 AI 时代这套全新的度量衡。








