IQuest-Q1技术报告公开 披露架构与训练细节

今天，至知创新研究院（IQuest Research）正式公开了IQuest-Q1的技术报告，系统性地披露模型在架构设计、预训练、智能体后训练及研发迭代等方面的技术方法与实验结果。

就在报告发布前，这款刚开源不久的模型已经在圈内引发了一波不小的关注。

网友Manish Kumar Shah，在X上分享了自己用IQuest-Q1开发的一款3D探索小游戏，玩家可以通过键盘控制小船在水面航行，还能切换昼夜模式。

 作者声明：该视频由AI生成

还有网友Atul Kumar把目光放在了更复杂的Agent任务上，他让IQuest-Q1开发了一个水波干涉模拟器，波长、波源间距和相位差都能实时调节。

IQuest-Q1模型的开发者团队在一次强化学习训练中，平均奖励出现了异常大幅下滑。于是让IQuest-Q1通过Claude Code CLI分析训练日志、执行轨迹和代码库，最后发现，问题竟然出在文本解码时多插入的一个空格。

 作者声明：该视频由AI生成

从开发交互式应用到排查隐藏的代码Bug，IQuest-Q1展示出了实打实的干活能力。

现在不少开源模型是在Qwen、DeepSeek等现有基座上进行后训练微调。IQuest-Q1走的是另一条路，由至知创新研究院独立完成预训练。

它采用稀疏混合专家（MoE）架构，总参数约320B，每个token仅激活约15B。在保留大规模模型容量的同时，大幅减少了推理所需的计算量。

这对于想要本地自部署模型的企业来说，是个很合适的选择。

此前Anthropic在官方隐私政策中披露，在用户授权或涉及违规行为审查等特定情况下，获得授权的内部人员可以查看 Claude 用户的相关聊天内容。

可以理解为，只要使用云端大模型用户的数据就有可能被模型厂商访问。

对于医疗、政企等数据敏感型行业，这件事非常值得重视。企业日常处理的大量内部代码、业务文档和客户信息，一旦交给云端AI，数据存储、访问权限和信息安全都成了必须考虑的问题。

想让核心数据尽量留在自己手里，私有化部署是一条重要路径。

但企业自己部署模型，也得算成本。小模型能力不够，大模型又太贵，想找一款能力强、成本又能接受的模型并不容易。

面对这个两难，IQuest-Q1 给出了一种兼顾能力与成本的选择。它既支持自主部署，又针对代码开发、命令行交互和复杂 Agent 任务做了专门优化。企业可以在自己的环境中运行模型，再根据业务需求持续微调和改进。

此次报告公布，进一步呈现了模型在30项评测中的表现，并详细介绍其训练效率、长上下文与推理加速设计、多执行框架后训练及可执行任务环境构建等技术路径，为理解模型能力及其研发过程提供了更完整的技术依据。

• 技术报告：arxiv.org/pdf/2610.30949

• 官方博客：iquestlab.github.io

• Hugging Face：
  

  https://huggingface.co/IQuestLab/IQuest-Q1

• 项目地址：https://github.com/IQuestLab/IQuest-Q1

  01 IQuest-Q1的架构设计与效率突破

图1：IQuest-Q1 的整体架构

IQuest-Q1模型架构如上图所示，采用MoE架构，总参数320B、激活参数15B。每个MoE层包含256个路由专家，每个Token仅激活其中8个。

模型整体由88层Transformer组成，隐藏层维度为3072，在注意力机制、专家网络和Token预测方式上进行了针对性设计，以兼顾模型能力、计算效率与长上下文处理能力。

注意力机制方面，IQuest-Q1采用滑动窗口注意力（SWA）与全局注意力（FA）相结合的混合架构。

模型按照每3层滑动窗口注意力后接1层全局注意力的模式交替排列。

其中，滑动窗口大小设置为4096 Token，使局部注意力层只需要关注限定窗口内的历史信息，减少长序列处理时的注意力计算和KV Cache开销。

注意力头配置上，IQuest-Q1采用分组查询注意力（GQA），设置48个Query注意力头和8个Key/Value注意力头，每个注意力头的维度为128。每6个Query头共享一组Key/Value头，从而减少推理过程中需要存储的KV Cache规模。

此外，模型还采用Partial RoPE（部分旋转位置编码），仅对每个注意力头中的32个维度应用旋转位置编码，而非全部128维。

IQuest-Q1支持512K的上下文窗口，这一设计主要面向Coding Agent的长程任务需求。

在复杂软件开发过程中，Agent往往需要持续读取代码文件、执行终端命令、分析运行日志并处理工具反馈。更长的上下文窗口能够容纳更多代码仓库信息、历史交互和中间执行结果，为多轮任务执行提供支持。

为提高生成效率，IQuest-Q1引入递归式多Token预测（Recursive MTP）机制，并针对训练和推理采用不同设计。

如下图所示，在预训练阶段模型使用两个MTP层，提供额外的未来 Token 预测监督；完成主体训练流程后，其中一个MTP层被进一步改造为递归草稿生成模块（Recursive Drafter）。

图2：递归式多 Token 预测示意图

同时，IQuest-Q1将推理阶段MTP模块的滑动窗口设置为512 Token，明显小于主模型4096 Token的滑动窗口。通过限制递归草稿生成阶段的注意力范围，模型能够进一步控制长上下文场景下的候选Token预测成本。

除了模型本身的结构设计，IQuest-Q1还引入Stable SplitNorm、Muon优化器和μP参数化等技术，提升大规模训练的稳定性与计算效率。

团队还提出Critical Model Size（CMS）指标，通过分析安全学习率与最优学习率之间的关系，评估模型在兼顾训练稳定性和优化效率时的规模化边界。实验结果表明，IQuest-Q1在当前模型规模下仍具有一定的训练稳定性余量。

图3：规模化效率与稳定性实验

02 支撑Agent训练的数据与环境体系

IQuest-Q1的预训练与中期训练累计使用约29T Tokens训练数据。

预训练阶段，团队采用动态调整的数据配比策略，将代码数据占比从40%逐步提升至70%，以增强模型对代码和软件开发任务的理解能力。

进入中期训练后，团队进一步引入推理问答、智能体执行轨迹等数据，并逐步将上下文长度扩展至512K Tokens，使模型能够处理更长的代码仓库内容、复杂工具反馈及多轮任务历史。

与普通语言模型主要依靠文本数据学习不同，Coding Agent还需要学习如何在实际环境中执行任务、调用工具并根据反馈调整操作。

研究团队从代码仓库和智能体轨迹出发，构建了超过100万个可执行、容器化的任务实例。通过在这些环境中运行智能体，并筛选有效、完整的执行轨迹，为中期训练提供数据支持。

除了生成训练轨迹，如何准确判断Agent是否真正完成任务，也是训练过程中的关键问题。

面向后训练阶段，研究团队进一步搭建了覆盖软件工程、终端工作流、前端应用、网络安全及专业任务等方向的可执行环境，并针对不同任务配置验证器，以实际执行结果作为模型学习和评估的重要依据。

不过，当Agent能够自主执行命令、修改文件和访问环境资源时，也可能出现奖励作弊（Reward Hacking）问题。

针对这一问题，研究团队建立了由环境准备、执行时检查和轨迹审计组成的三层防护机制。

• 环境准备阶段，通过清理可能泄露答案的代码历史、移除参考解答及隔离任务环境，减少训练数据污染。

• 在任务执行过程中，限制Agent对隐藏测试、外部参考答案等资源的非授权访问，防止模型通过不合规方式获取奖励。

• 轨迹收集后，结合规则检查与模型辅助审计，识别并剔除确认存在作弊行为的执行记录，避免不可靠的训练反馈影响模型学习。

通过数据构建、可执行环境验证与奖励作弊防护，IQuest-Q1建立了面向真实Agent任务的训练基础，为后续监督微调、强化学习及多教师在线策略蒸馏（MOPD）提供支持。

03 多环境强化学习与多教师能力蒸馏

完成预训练和中期训练后，研究团队进一步通过后训练提升IQuest-Q1的实际任务执行能力。

围绕软件工程、长程任务及通用智能体能力对模型开展专项训练，结合监督微调（SFT）、多环境强化学习（RL）和多教师在线策略蒸馏（MOPD），逐步整合不同方向的能力。

IQuest-Q1模型的强化学习不仅面向单一任务或执行框架进行优化，还覆盖Claude Code、Codex等多种Agent执行框架。

训练过程中模型需要通过不同框架与任务环境交互，执行代码修改、终端命令等操作，并根据环境反馈调整执行策略。

研究团队通过独立验证器判断任务是否完成，同时结合环境隔离、执行检查与轨迹审计等机制，减少无效奖励信号和不合规执行行为对训练的影响。

多教师在线策略引入四类专业教师模型，分别覆盖终端交互与用户体验、多执行框架适应、长程代码及安全任务，以及通用智能体能力。

通过模型融合，将不同训练阶段和专业分支形成的能力整合至最终模型，帮助IQuest-Q1能够在统一模型中兼顾软件工程、长程任务和通用Agent能力。

图4：后训练流程

04 30项评测展现代码与Agent双重实力

研究团队围绕软件工程、终端操作、工具调用、复杂任务执行和通用推理等方向，开展了30项基准评测，并与GLM-5.3 Flash、DeepSeek-V4 Flash-0731、Tencent Hy3、MiniMax M3、Claude Opus-5和GPT-5.6 Sol等第一梯队模型进行对比。

图5：智能体训练任务与验证体系

评测结果如下表所示。

跨应用工作流与多步骤任务上，IQuest-Q1的表现出色。在AutomationBench评测中取得52.7分，超过Claude Opus-5的50.3分和GPT-5.6 Sol的45.8分。在τ³-Banking评测上，IQuest-Q1取得51.8分，同样高于Claude Opus-5的44.7分和GPT-5.6 Sol的44.3分，分别领先7.1分和7.5分。

工具调用与技能使用的评测上，IQuest-Q1也展现出较强的竞争力。在SkillsBench中，IQuest-Q1取得74.1分，较GLM-5.3 Flash的56.2分高出17.9分，较DeepSeek-V4 Flash-0731的72.0分高出2.1分。在MCP-Atlas上，IQuest-Q1取得78.4分，超过DeepSeek-V4 Flash-0731的72.8分和MiniMax M3的74.2分。

需要持续执行和环境交互的Agent任务，IQuest-Q1同样取得了不错的成绩。在Claw-Eval评测中取得77.1分，比GPT-5.6 Sol高出6.9分，较GLM-5.3 Flash高出2.9分，与Claude Opus-5的79.6分也较为接近。

在团队自主设计的IQuest-CLIBench中，模型取得53.7分，超过了GLM-5.3 Flash和DeepSeek-V4 Flash-0731。该评测结合脚本驱动的用户交互模拟、执行轨迹和环境状态检查，考察CLI Agent在实际操作过程中的任务完成情况与交互表现。

IQuest-Q1在代码能力评估基准NL2Repo-Bench和CyberGym上分别取得63.0分和84.5分，均超过GPT-5.6 Sol。

通用推理任务中，IQuest-Q1在 GPQA Diamond 上取得93.3分，接近Claude Opus-5；IMOAnswerBench-Verified 上取得93.0分，是已公布成绩的模型中最高分。

不过，在部分高难度软件工程任务中，IQuest-Q1与领先模型仍存在差距。但整体来看，模型已在多项代码和Agent评测中展现出较强的潜力。

05 IQuest-Q1开始参与自身研发

随着智能体能力不断提升，AI也开始逐步参与到模型自身的研发过程中，包括分析能力短板、优化训练数据以及辅助制定改进方案。

IQuest-Q1也在这一方向展开了探索。

技术报告披露了一项工具调用能力优化实验。针对长程任务中出现的35次工具调用错误，基于IQuest-Q1的智能体回溯分析了6054次工具调用记录，发现部分问题源于训练数据过度集中于单一工具调用格式，以及工具定义与调用参数之间存在不匹配。

在定位问题后，智能体进一步提出数据清洗和多样化工具调用格式的数据增强方案，并在人工审核后完成相关数据处理和训练配置工作。

此外，经过验证和审核的模型更新及研发成果可以在后续迭代中继续复用，减少重复研发工作，为模型能力的持续改进提供支持。

06 夯实从零构建基础模型研发路径

这对于仍处在快速发展阶段的至知创新研究院而言，IQuest-Q1 的意义远不止模型本身，而是夯实了一条从预训练阶段开始构建基础模型的研发路径。