SE333最终项目——基于MCP的自主测试代理
概述
该项目实现了 自主、覆盖驱动的测试代理 使用 模型上下文协议（MCP）代理迭代地生成和改进Java应用程序的单元测试，使用JaCoCo测量代码覆盖率，修复发现的缺陷，并使用基于主干的工作流将经过验证的更改提交到GitHub。
该系统展示了一个端到端的自动化测试循环：
Generate tests → Run tests → Measure coverage → Identify gaps → Improve tests → Fix bugs → Commit → Repeat______________________________________________________________________
建筑
1.MCP服务器（Python、FastMCP）
提供代理可通过SSE传输调用的工具：
- jacoco_parser（xml_path） --解析JaCoCo XML并返回每个包/类/方法的覆盖率和需要测试的目标
- scan_maven_vulbility（pom_path） --查询OSV的Maven依赖漏洞（安全预检查）
- 添加（a，b） --示例第1阶段工具（连接验证）
运输： SSE （VS代码MCP兼容）
______________________________________________________________________
2.代理工作区（Java+提示配置）
包含：
- Spark Java mini web应用程序正在测试中
- 代理生成/改进的JUnit测试套件
- JaCoCo构建集成
- MCP提示配置
密钥文件：
.github/prompts/tester.prompt.md此提示定义了测试代理的自主行为，包括工具：
- 模型+MCP工具和用法
- 迭代测试工作流程
- Git自动化规则
- 覆盖率驱动的决策逻辑
______________________________________________________________________
3.迭代测试流程
每次代理迭代执行：
- 依赖关系的安全预检查
- 运行Maven测试
- 查找JaCoCo XML报告
- 通过MCP工具分析覆盖率
- 选择低覆盖率方法/类别
- 生成或改进测试
- 重新运行测试
- 如果需要，修复失败的代码
- 提交功能分支上的更改
- 公开公关→ 合并到主
______________________________________________________________________
存储库结构
MCP Server/ # MCP server workspace
main.py -> mcp server
pyproject.toml
uv.lock
Agent Workspace (se333-Demo)/ # Agent + Java app workspace
src/main/java/
src/test/java/
pom.xml
.github/prompts/tester.prompt.md______________________________________________________________________
安装说明
先决条件
- Python 3.11+
- Node.js（用于VS Code MCP扩展运行时）
- Java 17+
- Maven 3.9+
- 带有MCP扩展的VS代码
- Git+GitHub账号
______________________________________________________________________
MCP服务器设置
cd MCP Server
uv sync
uv run main.py服务器启动时间：
http://127.0.0.1:8000/sse配置VS代码MCP：
{
"servers": {
"se333-mcp-server": {
"type": "sse",
"url": "http://127.0.0.1:8000/sse"
}
}
}启用 YOLO/自动批准 工具执行模式。
______________________________________________________________________
Java项目设置
cd Agent Workspace (se333-Demo)
mvn clean testJaCoCo报告生成于：
target/site/jacoco/jacoco.xml______________________________________________________________________
运行自治代理
在VS Code中打开项目并运行MCP提示符：
.github/prompts/tester.prompt.md代理人将：
- 运行测试
- 解析覆盖率
- 生成新测试
- 提高覆盖率
- 修复bug
- 提交更改
______________________________________________________________________
Git工作流
代理使用基于中继的开发：
- 每次迭代创建分支
- 提交测试/代码改进
- 打开拉取请求
- 验证后合并
历史进程示例：
test: add AuthenticationController edge cases
coverage: increase HTMLRenderer branch coverage
fix: resolve null handling in DashboardController______________________________________________________________________
覆盖率驱动的决策
代理优先考虑：
- 未发现的方法
- 分支覆盖率低
- 控制器和服务
- 错误/边缘路径
选择来源： jacoco_parser MCP工具输出。
______________________________________________________________________
技术文档
MCP工具API参考
jacoco_parser（xml_path）
解析JaCoCo XML覆盖率报告并提取覆盖率统计信息
输入：
xml_path: stringJaCoCo XML文件的路径（通常在target/site/jaco/JaCoCo.XML中）
输出： 返回结构化覆盖数据，包括：
{
packages: [...],
classes: [...],
methods: [...],
methods_needing_coverage: [...]
}用于识别未发现的方法、针对测试生成和优先考虑覆盖率改进。
scan_maven_vulbility（pom_path）
使用OSV数据库执行依赖性漏洞扫描。
输入：
pom_path: stringMaven之路 pom.xml文件 文件。
输出： 返回检测到的漏洞，包括：
{
dependency: "...",
version: "...",
cve: "...",
severity: "...",
description: "..."
}用于测试生成前的安全预检查，识别有风险的依赖关系，并演示具有安全意识的自主工具。
添加（a，b）
MCP连接工具示例。
输入：
a: number
b: number输出：
sum = a + b用于第一阶段MCP连接测试，并确保MCP服务器和代理可以在其他MCP工具可用之前进行通信。
______________________________________________________________________
代理决策逻辑
测试代理遵循覆盖率引导的推理过程。
决策优先事项包括：
- 覆盖率为0%的方法
- 分支覆盖率低的方法
- 控制器端点
- 服务逻辑
- 边缘案例和零处理
代理使用以下反馈信号： - 低覆盖率->生成新测试 - 失败测试->检查代码并应用修复 - 发现新分支->生成其他测试 - 安全问题->标记并修复依赖关系
______________________________________________________________________
再现迭代
要重现项目中显示的结果：
- 启动MCP服务器
cd MCP Server
uv sync
uv run main.py- 构建Java项目
cd Agent Workspace (se333-Demo)
mvn clean test- 运行代理
从VS Code聊天窗口执行提示：
.github/prompts/tester.prompt.md请遵循以下流程：
- 测试执行
- 覆盖率解析
- 目标选择
- 测试生成
- 覆盖率提高
- Bug检测和修复
- Git提交已创建
______________________________________________________________________
结果
该系统实现了：
- 自动生成测试
- 迭代中的覆盖率提高
- 自主错误检测和修复
- 可复制的MCP驱动工作流程
- Git可审计的进化
- Maven依赖漏洞预检查
查看覆盖范围的改进 在这里
______________________________________________________________________
常见问题排查
MCP工具未出现在VS代码中
检查：
- MCP服务器仍在运行
- URL与配置匹配
- SSE端点可访问
''' http://127.0.0.1:8000/sse '''
未找到JaCoCo XML
确保测试成功运行： ''' mvn清洁测试 ''' 预期文件： ''' target/site/jaco/jacoco.xml '''
MCP服务器无法启动
检查Python环境： ''' python--版本 ''' 然后重新安装依赖关系： ''' UV同步 '''
______________________________________________________________________
反思
本项目演示了MCP如何实现：
- 工具增强LLM开发
- 反馈驱动的测试循环
- 自主软件和安全维护
- 测试与DevOps的集成
关键见解：覆盖率反馈似乎足以指导迭代测试生成，而无需人工提示。我仍然认为在发出合并拉取请求之前进行审查很重要，因此我在这个阶段允许人工审查以及防止LLM使用外部工具的最佳做法之一是在提示中设置停止条件。
深度反射 '报告/SE333最终反思.pdf'
限制和挑战
目前，我认为LLM生成的测试仍然需要偶尔进行人工审查，特别是在投入生产之前。此外，并非所有覆盖率指标都能始终反映测试的行为正确性。 法学硕士有时喜欢“做自己的事”。在其发展轨迹中，它可能会尝试使用外部工具或创建自己的工具，这需要得到提示。
未来工作
我认为未来的一些改进是切实可行的：
- 使用CodeQL（SAST）在代码库中进行静态分析安全漏洞检查
- 与突变检测相结合
- 使用GitHub Actions实现CI/CD自动化
______________________________________________________________________
作者
丹尼尔·卡巴哈尔 SE333——软件测试和质量保证 德保罗大学
______________________________________________________________________
许可证
学术项目——仅供教育使用。