Token导航 LogoToken导航

AI 资讯 · 光子盒QUANTUMCHINA

64量子比特搭配11亿参数模型性能超80亿大模型

更新 2026-10-26光子盒QUANTUMCHINA正文 3784字阅读约 12分钟11 张图片
图片

2019年,Google研究团队曾利用Sycamore超导量子处理器上的53个有效量子比特,在200秒内完成了随机电路采样任务,并推算当时最先进的经典超级计算机完成同样任务需要耗费一万年。

紧接着,IBM研究人员对此提出异议,认为只要对经典模拟算法和存储调度进行针对性优化,同一任务在经典超算上仅需2.5天即可跑完。这场关于“量子优越性”的争论,让量子计算的巨大潜力进入公众视野。

最近几个月,AI开始频繁出现在量子实验室。

比如,法国中性原子量子计算公司Pasqal研究团队开发的一套人工智能工具,该工具能够根据英文自然语言指令生成量子计算程序,并进一步调用量子计算机执行实验。

OpenAI与麻省理工学院(MIT)量子工程系统组报告基于GPT-5.6 Sol大模型和Codex驱动的AI智能体,实现了端到端自主运行超导量子比特的相关计算实验。

STEM Fellow Andi Gu与哈佛大学Susanne Yelin、Mikhail Lukin合作的研究,利用Claude设计出了比已发表最佳电路更高效的量子电路,其中用于量子优化算法的解码器电路,门数比Google此前的构造少了12倍,单次设计耗时53小时。

基于此,一个更值得追问的问题是量子计算能不能直接嵌进模型,用更小的参数规模换到更高的语言能力?

最近,来自加拿大蒙特利尔大学、Mila人工智能研究所和麦吉尔大学的团队提出HyperQ,将逐Token自适应的量子计算引入扩散语言模型。实验发现,在64量子比特下,HyperQ让仅有11亿参数(1.1B)的模型在六项零样本测试平均分上超过Qwen3-8B等80亿参数模型,相关量子电路还在IBM 156量子比特量子集群上完成了验证。

图片
图片

量子+大模型

长期以来,主流语言模型大多采用从左到右逐Token生成的自回归架构。受限于单向因果掩码,这类模型难以利用后文信息,也无法在单次前向传播中并行生成多个Token。

近年来,以LLaDA、Dream 7B及百亿参数的LLaDA 2.0为代表的掩码离散扩散语言模型开始崛起。扩散语言模型从全掩码序列出发,通过多轮迭代去噪逐步恢复完整文本。在每轮去噪中,模型利用双向注意力同时评估所有掩码位置的Token分布,优先锁定置信度最高的预测结果,再把剩余的位置重新掩码并送入下一轮修正。

研究表明,扩散语言模型在数据受限的场景下比自回归模型更具有竞争力。

在多轮去噪过程中,同一个Token的隐藏状态会随去噪轮次不断变化,不同语义权重的Token对特征变换的需求也截然不同。然而,此前学术界提出的量子增强模型,比如HyQuT、QTHA、Cayley酉算子适配器、Quantum-PEFT等,都采用预先设计好的固定量子电路,所有Token只能机械共用同一套静态结构,没有办法根据Token内容和去噪阶段灵活调整。

此外,量子计算的规模化扩展还面临着算力爆炸和梯度消失两大问题。量子比特虽能处于0和1的叠加态并通过量子门实现复杂状态变换,但在经典计算机上完整描述64量子比特的量子态,需要维护多达2的64次方个振幅,计算成本相当高。

同时,随着量子比特数量的增加,变分量子电路大多会出现“贫瘠高原”现象,即梯度方差随比特规模呈指数级衰减,导致模型无法通过反向传播完成训练。这也是过往量子增强语言模型只能停留在十几个量子比特小规模实验上的核心原因。

图片

HyperQ架构

针对上述问题,研究团队在HyperQ中提出了一套直接且高效的解法,那就是让语言模型自己决定每个Token需要什么样的量子计算,而且只需要训练新增的量子计算分支,无需重训整个大模型。

具体来看,研究团队以11亿参数的扩散语言模型LLaDA-1.1B作为冻结主干,在其22个Transformer层的查询-键-值(QKV)投影旁,并联接入了由轻量级超网络驱动的量子残差分支。整个工作流程共三步:

首先是生成量子电路,超网络根据每个Token当前的隐藏状态,经低秩压缩后动态生成单比特旋转门角度、双比特耦合强度和测量方向;其次是执行计算,系统通过对应的量子电路变换信息,并从各量子比特的测量结果中提取期望值特征;最后是增强模型,将这些量子特征经上投影后加入Transformer的注意力计算中,辅助模型预测文本。

如果超网络输出的某处耦合参数为零,对应的量子门就会被直接移除,从而实现不同Token及同一Token在不同去噪步骤下的电路结构动态调整。

图片

图:从文本去噪到量子残差分支的三级计算流程

为了绕开64量子比特下的存储难题与梯度消失,HyperQ对量子电路进行了两项特殊设计。

一是采用“环加弦”稀疏连接结构,让环上排列的每个量子比特只与2个相邻比特和2个固定间隔比特相连。无论规模怎么扩大,每个量子比特始终只连接4个邻居,连接数量不会随规模扩大而膨胀。

二是采用特殊的二体瞬时量子多项式(IQP)量子电路,在阿达玛门之间仅布置可交换的单比特Z旋转门与双比特ZZ耦合门,且只用读取各量子比特的单体测量期望值。基于该设计,期望值可通过经典解析公式直接求解,计算量仅随量子比特数量线性增长,无需构建庞大的全量子态矢量。

图片

图:HyperQ整体架构与核心设计

同时,因为连接度数固定为4,量子电路的梯度方差在16、32、64量子比特下恒定保持在1/48,有效缓解了梯度消失问题。实测表明,扩展至64量子比特时,该分支显存占用不足0.4 GB,单次调用延迟稳定在24毫秒左右。

图片

图:量子电路扩宽后的性能、梯度与资源开销

图片

实验结果

研究团队在涵盖常识理解、阅读理解和数学推理的六项零样本测试(ARC-e、HellaSwag、PIQA、BoolQ、RACE和GSM8K)中全面验证了HyperQ的性能。

其中,最亮眼的是64量子比特下的结果。基于11亿参数冻结主干的HyperQ取得了54.30分的平均成绩,拿下全部六个单项最高分,相比冻结主干49.59分提升4.71分,并超越同主干的经典LoRA微调结果(50.63分)3.67分。

在与80亿参数规模模型的跨量级较量中,HyperQ同样表现优异。其超越扩散大模型LLaDA-8B(53.37分)以及主流自回归大模型Llama-3.1-8B(52.92分)和Qwen3-8B(53.79分),GLUE得分也达到全场最高的79.8分。

更关键的是,经典基线和对比量子模型都使用了20万条指令微调数据,但是,HyperQ只用了2万条样本,数据量仅为前者的十分之一。只有在WikiText困惑度指标上,HyperQ(10.95)略逊于Qwen3-8B(10.61),但仍明显优于LLaDA-8B(11.20)。

图片

表:HyperQ与经典语言模型及其他量子增强模型的性能比较

进一步实验发现,量子电路不是简单挂载就能生效,比特数量与动态调整缺一不可。

16量子比特时,HyperQ平均分仅为47.65分,甚至低于冻结主干;只有越过约21比特的阈值并扩展到32比特(52.80分)和64比特(54.30分)后,性能才明显提升。在64量子比特下,HyperQ比最优固定量子电路高出3.68分,比按Token从有限候选中挑选结构的离散搜索方法也高出2.00分以上。

统计显示,16量子比特时,HyperQ会根据Token信息量分配纠缠资源,实词和罕见子词保留的耦合最密,而高达30.2%的标点符号会直接关掉电路内部的旋转和耦合。到了64量子比特时,约九成Token使用的量子电路结构互不重复。

此外,HyperQ完整保留了扩散模型并行与任意顺序解码的能力,在语序敏感的逆向问答与文本完形测试中,准确率领先自回归模型达25.3个百分点。

为了验证这些量子电路能否真正运行在物理硬件上,研究团队在不修改模型权重的情况下,从各测试集中随机抽取256道题,将量子分支中的电路部署到IBM的156量子比特超导量子集群上,以10000次采样执行实机测量。

结果显示,即便受到硬件噪声影响,大部分性能依然得以保留:64量子比特下,量子集群实机运行的六项测试平均分达到53.18分,仅比无噪声经典模拟低1.12分,依然高于经典LoRA基线与Llama-3.1-8B,充分证实了HyperQ在真实超导硬件上的可执行性。

图片

图:HyperQ从经典解析读出到超导量子硬件读出的配对验证

图片

写在最后

综合来看,HyperQ打开了一个全新的技术方向:让每个Token都能按需调用专属量子电路,使底层计算结构的动态演进成为大模型能力增长的新维度。凭借稀疏连接与IQP电路设计,该架构在经典环境中跑通了64量子比特分支的高效训练,并在百比特级超导芯片上完成了实机推理验证。

同时,研究团队也在论文中客观指出了当前工作的理论边界:正是因为受限二体IQP电路具有线性复杂度的经典解析解,才让64比特模型得以高效训练,但这也意味着当前电路的读出过程本身是经典可高效模拟的。

因此,现阶段的HyperQ主要验证了动态量子电路作为新型架构归纳偏置的有效性,尚未构成严格计算复杂性意义上的“量子计算优越性”。

展望未来,团队将继续在量子基础模型方向深耕,逐步探索包含非对易量子门层的常数深度量子电路,去攻克那些经典扩散模型无法有效表达、唯有量子硬件能够高效采样的复杂分布任务,推动量子计算与大语言模型走向更深层的融合。

参考链接

https://arxiv.org/abs/2609.24657

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。