- name
- agent-regression-testing
- description
- >
- allowed-tools
- [read, write, feishu_create_doc, feishu_update_doc, feishu_fetch_doc, message]
Agent Regression Testing - 智能体回归验证
飞书文档写入位置
知识库: 7616288931050507220
节点: 效果评测/回归测试报告
管理回归测试计划、执行回归测试用例、验证缺陷修复。
触发条件
当用户需要以下操作时触发：
- "开始回归测试"
- "验证缺陷修复"
- "执行回归验证"
- "生成回归报告"
- "回归测试计划"
功能
提供回归测试全流程管理：
- 回归测试范围确定
- 回归测试用例选择
- 回归测试计划制定
- 回归测试执行
- 缺陷修复验证
- 回归测试报告生成
使用方法
回归测试计划:
- 版本信息: [版本号]
- 变更内容: [变更描述]
- 影响范围: [影响模块]
- 回归范围: [测试范围]
- 回归用例数: [X]个
- 预计执行时间: [X]小时
回归用例选择:
- 核心功能用例: [X]个
- 缺陷相关用例: [X]个
- 关联模块用例: [X]个
- 基础功能用例: [X]个
缺陷修复验证:
- 缺陷ID: [BUG-XXX]
- 缺陷描述: [描述]
- 修复版本: [版本号]
- 验证结果: [通过/失败]
- 验证备注: [备注]
回归测试执行:
- 执行日期: [日期]
- 执行人: [执行人]
- 测试环境: [环境]
- 执行结果:
- 通过: [X]个
- 失败: [X]个
- 阻塞: [X]个
- 通过率: [X%]
回归结论:
- 是否通过: [是/否]
- 遗留问题: [问题列表]
- 发布建议: [建议]
回归测试策略
1. 全量回归
- 适用场景: 核心版本发布、架构变更、重大重构
- 优点: 覆盖全面，风险最低
- 缺点: 耗时较长，资源消耗大
- 触发条件:
- 版本号升级（如 v1.0 → v2.0） - 架构级变更（如单体→微服务） - 核心框架升级（如 Python 3.10 → 3.12） - 数据库结构变更
2. 选择性回归
- 适用场景: 局部功能修改、缺陷修复、小版本迭代
- 优点: 效率高，针对性强
- 缺点: 可能遗漏关联问题
- 选择标准:
| 优先级 | 选择标准 | 说明 | 示例 |
|---|
| P0 | 修改模块的核心用例 | 直接修改的功能 | 修改了创建接口 → 执行创建相关用例 |
| P0 | 历史缺陷相关用例 | 该模块曾出现缺陷 | 智能体模块曾有问题 → 执行该模块用例 |
| P1 | 与修改相关的功能用例 | 上下游关联功能 | 修改了创建 → 执行列表、详情用例 |
| P1 | 基础功能用例 | 公共基础功能 | 登录、权限、日志等 |
| P2 | 其他模块抽样用例 | 非直接关联模块 | 抽样执行其他模块用例 |
3. 自动化回归
- 适用场景: 每日构建、持续集成、冒烟测试
- 优点: 快速、可重复、无人值守
- 触发时机:
- 每次代码提交后 - 每日定时（如每晚22:00） - 发布前自动执行 - 手动触发
4. 回归策略选择矩阵
| 变更类型 | 建议策略 | 回归范围 | 预计耗时 |
|---|
| 缺陷修复（单点） | 选择性回归 | 缺陷模块 + 关联模块 | 2-4小时 |
| 功能优化（局部） | 选择性回归 | 修改模块 + 核心功能 | 4-8小时 |
| 新功能上线（模块级） | 选择性回归 | 新模块 + 关联模块 + 核心功能 | 1-2天 |
| 版本迭代（迭代级） | 选择性回归 | 全量P0 + 修改模块P1 | 2-3天 |
| 大版本发布（系统级） | 全量回归 | 所有用例 | 1-2周 |
| 架构重构（架构级） | 全量回归 | 所有用例 + 专项测试 | 2-4周 |
回归测试流程
阶段1：准备阶段
1. 分析变更影响
- 获取变更清单（代码变更、配置变更、数据变更）
- 评估影响范围（模块级、功能级、接口级）
- 识别风险点（高风险功能、历史问题区域）
↓
2. 确定回归范围
- 选择回归策略（全量/选择性/自动化）
- 确定回归用例集
- 评估回归工作量
↓
3. 制定回归计划
- 制定时间表
- 分配资源
- 准备环境
阶段2：执行阶段
4. 执行回归测试
- 冒烟测试（环境可用性）
- 核心功能回归（P0用例）
- 全量回归（根据策略）
- 实时记录结果
↓
5. 验证缺陷修复
- 获取待验证缺陷清单
- 执行缺陷验证用例
- 更新缺陷状态
- 记录验证结果
阶段3：评估阶段
6. 生成回归报告
- 汇总执行结果
- 统计通过率
- 分析失败原因
- 整理遗留问题
↓
7. 风险评估
- 功能风险评估
- 性能风险评估
- 安全风险评估
- 兼容性风险评估
↓
8. 发布决策
- 通过：可以发布
- 有条件通过：修复后发布
- 不通过：不能发布
回归测试准入准出
准入标准（开始回归前必须满足）
| 准入项 | 要求 | 检查方式 |
|---|
| 代码冻结 | 代码已冻结，不再变更 | 代码分支状态 |
| 冒烟通过 | 核心功能冒烟测试100%通过 | 冒烟测试报告 |
| 环境就绪 | 回归环境已搭建，配置正确 | 环境检查 |
| 用例准备 | 回归用例已确定并评审 | 用例清单 |
| 缺陷修复 | 计划修复的缺陷已修复 | 缺陷状态 |
准出标准（回归通过必须满足）
| 准出项 | 要求 | 说明 |
|---|
| P0用例通过率 | 100% | 核心功能必须全部通过 |
| P1用例通过率 | ≥95% | 重要功能允许少量失败 |
| P2用例通过率 | ≥80% | 一般功能允许失败 |
| 缺陷修复率 | 100% | 计划修复的缺陷必须验证通过 |
| 新增缺陷 | 无P0级缺陷 | 回归期间未发现严重问题 |
| 遗留问题 | 有明确规避方案 | 遗留问题不影响核心功能 |
发布风险评估
风险等级定义
| 风险等级 | 判定标准 | 处理建议 |
|---|
| 🟢 低风险 | P0通过率100%，无遗留问题 | 可以发布 |
| 🟡 中风险 | P0通过率100%，有低风险遗留问题 | 修复后发布 |
| 🟠 高风险 | P0通过率<100%，或有P1遗留问题 | 修复后重新回归 |
| 🔴 极高风险 | 有P0级缺陷未修复 | 禁止发布 |
发布决策矩阵
| 回归结果 | 遗留问题 | 建议决策 |
|---|
| 全量通过 | 无 | ✅ 立即发布 |
| 全量通过 | 低风险问题 | ✅ 修复后发布 |
| 核心通过，一般失败 | 无 | ⚠️ 评估后发布 |
| 核心通过，一般失败 | 有风险问题 | ❌ 修复后重新回归 |
| 核心未通过 | - | ❌ 禁止发布 |
输出
- 回归测试计划
- 回归用例清单
- 回归测试执行记录
- 缺陷修复验证记录
- 回归测试报告
报告模板
# 回归测试报告
## 1. 基本信息
- 版本号: [版本]
- 回归日期: [日期]
- 执行人: [执行人]
- 测试环境: [环境]
## 2. 变更说明
- 变更内容: [描述]
- 影响范围: [范围]
## 3. 回归范围
- 回归用例总数: [X]个
- 核心功能用例: [X]个
- 缺陷相关用例: [X]个
- 关联模块用例: [X]个
## 4. 执行结果
- 通过: [X]个 ([Y]%)
- 失败: [X]个 ([Y]%)
- 阻塞: [X]个 ([Y]%)
- 未执行: [X]个 ([Y]%)
## 5. 缺陷修复验证
| 缺陷ID | 描述 | 验证结果 | 备注 |
|--------|------|----------|------|
| BUG-001 | [描述] | 通过 | - |
## 6. 遗留问题
- [问题列表]
## 7. 结论与建议
- 回归结论: [通过/不通过]
- 发布建议: [建议]
