______________________________________________________________________
标题：TraceMind AI 表情符号🧠 颜色来源：靛蓝 颜色To：紫色 sdk：毕业 sdk版本：5.49.1 app_file：app.py short_description：基于MCP智能的AI代理评估 许可证：agpl-3.0 固定：true 标签：
- mcp在行动轨道企业中的应用
- 代理人评估
- mcp客户端
- 排行榜
- 格拉迪奥
______________________________________________________________________
🧠 TraceMind人工智能
基于MCP智能的Agent评估平台
🎯 轨道2提交：MCP在行动（企业） 📅 MCP一周年黑客马拉松：2025年11月14日至30日
______________________________________________________________________
为什么选择TraceMind AI？
挑战评估AI代理会在模型、提供者和配置之间生成复杂的数据。理解这一切是压倒性的。
解决方案：TraceMind AI是你的 智能体评估指挥中心:
- 📊 实时排行榜 实时性能数据
- 🤖 自主代理聊天 由MCP工具提供动力
- 💰 智能成本估算 在运行评估之前
- 🔍 深度痕迹分析 调试代理行为
- ☁️ 多云作业提交 （拥抱脸部工作+莫代尔）
全部由 模型上下文协议 每一步都有人工智能驱动的见解。
______________________________________________________________________
🚀 立即尝试
- 🌐 现场演示: TraceMind人工智能空间
- 🛠️ MCP服务器: TraceMind mcp服务器 （轨道1）
- 📖 完整文档：参见 用户指南.md 完整演练
- 🎥 TraceMind AI完整演示（20分钟）: 在织机上观看
- 🎬 MCP服务器快速演示（5分钟）: 在织机上观看
- 📺 MCP服务器完整演示（20分钟）: 在织机上观看
______________________________________________________________________
TraceMind生态系统
TraceMind AI是 面向用户的平台 在一个完整的4项目代理评估生态系统中：
🔭 TraceVerde 📊 SMOLTRACE
(genai_otel_instrument) (Evaluation Engine)
↓ ↓
Instruments Evaluates
LLM calls agents
↓ ↓
└───────────┬───────────────────┘
↓
Generates Datasets
(leaderboard, traces, metrics)
↓
┌───────────┴───────────────────┐
↓ ↓
🛠️ TraceMind MCP Server 🧠 TraceMind-AI
(Track 1 - Building MCP) (This Project - Track 2)
Provides AI Tools Consumes MCP Tools
└───────── MCP Protocol ────────┘基金会
🔭 TraceVerde -LLM框架的自动OpenTetry仪器 → 捕获每个LLM调用、工具使用和代理步骤 → | PyPI
📊 烟雾过滤器 -内置跟踪的轻量级评估引擎 → 生成结构化数据集（排行榜、结果、跟踪、指标） → | PyPI
平台
🛠️ TraceMind MCP服务器 -通过MCP的人工智能分析工具 → 现场演示 | → 轨道1：建立MCP（企业）
🧠 TraceMind人工智能 （本项目）-使用MCP工具的交互式UI → 轨道2：MCP在行动（企业）
______________________________________________________________________
为什么这对拥抱面部很重要
这个生态系统是建立起来的 大约 拥抱脸，而不仅仅是“使用它”：
- 每次SMOLTRACE评估都会创建 4结构化
datasets在Hub上 （排行榜、结果、跟踪、指标） - TraceMind MCP服务器和TraceMind AI以 拥抱面部空间，使用 Gradio的MCP集成
- 该堆栈设计用于
smolagents–使用HF自己的代理框架对代理进行评估、跟踪和分析 - 评估可以通过以下方式执行 HF职位将评估转化为实际的计算使用，而不仅仅是本地脚本
所以TraceMind不仅仅是另一个代理演示。 这是一个固执己见的蓝图：
“拥抱脸模型+数据集+空间+作业+烟雾+MCP如何作为一个完整的代理评估和可观察性平台协同工作。”
______________________________________________________________________
主要特点
🎯 MCP集成（轨道2）
TraceMind AI演示 企业MCP客户端使用情况 通过两种方式：
1.直接MCP客户端集成
- 通过SSE传输连接到TraceMind MCP服务器
- 使用5个AI驱动的工具：
analyze_leaderboard,estimate_cost,debug_trace,compare_runs,analyze_results - 由Google Gemini 2.5 Flash提供的实时洞察
2.使用MCP工具的自主代理
- 内置于
smolagents框架 - 代理可以访问所有MCP服务器工具
- 自然语言查询→ 自主工具执行
- 例子： *“前三种型号是什么，它们的价格是多少？”*
📊 代理评估功能
- 实时排行榜：使用可排序的指标查看所有评估运行
- 成本估算：运行前自动选择硬件并预测成本
- 跟踪可视化：使用GPU指标深入了解OpenTetry跟踪
- 多云作业：向HuggingFace Jobs或Modal提交评估
- 性能分析：GPU利用率、二氧化碳排放、令牌跟踪
💡 智能功能
- 自动硬件选择：基于型号尺寸和供应商
- 实时作业监控：跟踪拥抱面部工作状态
- 代理推理可见性：请参阅分步工具执行
- 快速操作按钮：一键式常见查询
______________________________________________________________________
快速开始
选项1：使用现场演示（推荐）
- 访问: https://huggingface.co/spaces/MCP-1st-Birthday/TraceMind
- 登录：使用您的HuggingFace帐户登录
- 探索：浏览排行榜，与客服聊天，可视化痕迹
选项2：本地运行
# Clone and setup
git clone https://github.com/Mandark-droid/TraceMind-AI.git
cd TraceMind-AI
pip install -r requirements.txt
# Configure environment
cp .env.example .env
# Edit .env with your API keys (see Configuration section)
# Run the app
python app.py访问http://localhost:7860
______________________________________________________________________
配置
供查看（免费）
必需:
- HuggingFace帐户（免费）
- 拥抱脸令牌 阅读 权限
用于提交工作（付费）
必需:
- ⚠️ HuggingFace Pro （每月9美元）信用卡
- 拥抱脸令牌 读+写+运行作业 权限
- LLM提供商API密钥（OpenAI、Anthropic等）
可选（模态替代）:
- 模态账户（按秒付费，无订阅）
- 模态API令牌（Modal_token_ID+Modal_token_SECRET）
使用您自己的API密钥（推荐法官使用）
为防止评估期间出现速率限制：
步骤1：配置MCP服务器 （AI工具需要）
- 访问：https://huggingface.co/spaces/MCP-1st-Birthday/TraceMind-mcp-server
- 首选 ⚙️ 设置 标签
- 输入： Gemini API密钥 + 拥抱脸代币
- 点击 “保存并覆盖密钥”
步骤2：配置TraceMind AI （可选）
- 访问：https://huggingface.co/spaces/MCP-1st-Birthday/TraceMind
- 首选 ⚙️ 设置 标签
- 输入： Gemini API密钥 + 拥抱脸代币
- 点击 “保存API密钥”
获取免费的API密钥:
- 双子座: https://ai.google.dev/（1500次请求/天）
- 抱抱脸: https://huggingface.co/settings/tokens（公共数据集不受限制）
______________________________________________________________________
黑客马拉松评委
✅ 轨道2合规性
- MCP客户端集成：通过SSE传输连接到远程MCP服务器
- 自治代理:
smolagents具有MCP工具访问权限的代理 - 企业焦点：成本优化、作业提交、绩效分析
- 生产准备就绪：部署到具有OAuth身份验证的HuggingFace Spaces
- 真实数据：来自SMOLTRACE评估的Live HuggingFace数据集
🎯 关键创新
- 双MCP集成：直接MCP客户端+带有MCP工具的自主代理
- 多云支持：拥抱面向工作+无服务器计算模式
- 自动硬件选择：基于型号尺寸的智能硬件建议
- 完整的生态系统：展示完整评估工作流程的4个项目平台的一部分
- 代理推理可见性：请参阅分步MCP工具执行
📹 演示材料
- 🎥 TraceMind AI完整演示（20分钟）: 在织机上观看 -所有功能的完整演练
- 🎬 MCP服务器快速演示（5分钟）: 在织机上观看 -MCP工具快速介绍
- 📺 MCP服务器完整演示（20分钟）: 在织机上观看 -深入了解MCP服务器
- 📝 博客文章: 构建TraceMind生态系统 -技术深潜
- 🚀 LinkedIn帖子: TraceMind AI黑客马拉松提交 -最终提交公告
🧪 测试建议
1.尝试代理聊天 (🤖 代理聊天选项卡）：
- “分析当前排行榜，向我展示前5名模特”
- “比较前三款车型的成本”
- “估算使用GPT-4运行100次测试的成本”
2.探索排行榜 (📊 排行榜选项卡）：
- 点击“加载排行榜”查看实时数据
- 阅读人工智能生成的见解（由MCP服务器提供支持）
- 点击跑步查看详细的测试结果
3.可视化痕迹 （选择跑步→ 查看痕迹）：
- 请参阅OpenTetry瀑布图
- 查看GPU指标叠加（适用于GPU作业）
- 询问有关跟踪的问题（MCP供电调试）
______________________________________________________________________
你能做什么？
📊 查看和分析
- 浏览排行榜 具有人工智能驱动的洞察力
- 比较模型 跨指标并排
- 分析痕迹 交互式可视化
- 提出问题 通过自主代理
💰 估算和计划
- 获取成本估算 在运行评估之前
- 比较硬件选项 （CPU与GPU层）
- 预览持续时间 以及二氧化碳排放
- 见建议 来自AI分析
🚀 提交和监控
- 提交评估作业 拥抱脸或莫代尔
- 跟踪作业状态 实时的
- 查看结果 完成后自动
- 下载数据集 进一步分析
🧪 生成和自定义
- 生成合成数据集 用于自定义域和工具
- 创建提示模板 针对您的用例进行了优化
- 推到HuggingFace Hub 只需单击一下
- 测试评估 无需编写代码
______________________________________________________________________
文档
用于快速评估:
- 阅读此README以获取概述
- 访问 现场演示 试试看
- 看看 🤖 客服聊天 用于自主MCP使用的选项卡
适合深潜:
- 用户指南.md -完成逐屏演练
- 排行榜选项卡使用情况 - 代理聊天互动 - 合成数据生成器 - 作业提交工作流 - 跟踪可视化指南
- MCP_INTEGRATION.md -MCP客户端架构
- TraceMind AI如何连接到MCP服务器 - 代理框架集成（烟雾） - MCP工具使用示例
- JOB_提交.md -评估工作指南
- HuggingFace作业设置 - 模态集成 - 硬件选择指南 - 成本优化提示
- 建筑.md -技术架构
- 项目结构 - 数据流 - 认证 - 部署
______________________________________________________________________
技术栈
- UI框架等级：5.49.1
- 代理框架：烟雾剂1.22.0+
- MCP集成：MCP Python SDK+烟雾MCPClient
- 数据源：HuggingFace数据集API
- 认证：拥抱OAuth（计划中）
- AI模型:
- 代理：谷歌Gemini 2.5 Flash - MCP服务器：谷歌Gemini 2.5 Flash
- 云平台：拥抱面子工作+莫代尔
______________________________________________________________________
示例工作流
工作流程1：快速分析
- 开放TraceMind人工智能
- 首选 🤖 客服聊天
- 点击 “快速：顶级模特”
- 查看代理获取排行榜并分析表现最佳者
- 询问后续情况： *“哪一个最划算？”*
工作流程2：提交评估作业
- 首选 ⚙️ 设置 → 配置API密钥
- 首选 🚀 新评估
- 选择模型（例如。，
meta-llama/Llama-3.1-8B) - 选择基础设施（拥抱人脸作业或模态）
- 点击 "💰 估算成本” 预览
- 点击 “提交评估”
- 监控作业 📊 工作监控 标签
- 完成后在排行榜中查看结果
工作流3：调试代理行为
- 浏览 📊 排行榜
- 点击失败的跑步记录
- 视图 详细的测试结果
- 单击失败的测试以查看跟踪
- 使用MCP供电的问答： *“为什么这次测试失败了？”*
- 获取执行跟踪的AI分析
工作流程4：生成自定义测试数据集
- 首选 🔬 合成数据生成器
- 配置：
- 域名： finance - 工具： get_stock_price,calculate_profit,send_alert - 任务数量： 20 - 困难： balanced
- 点击 “生成数据集”
- 查看生成的任务和提示模板
- 输入存储库名称：
yourname/smoltrace-finance-tasks - 点击 “推到拥抱脸中心”
- 在评估中使用自定义数据集
______________________________________________________________________
截图
*看 SCREENSHOTS.md 用于所有屏幕的带注释屏幕截图*
______________________________________________________________________
🔗 快速链接
📦 组件链接
📢 社区帖子
- 🚀 TraceMind AI黑客马拉松提交 -MCP的第一个生日黑客马拉松最终提交
- 📝 构建TraceMind生态系统博客文章 -全面深入TraceVerse生态系统的技术
- 🎉 TraceMind预告片 -MCP的第一个生日黑客马拉松公告
- 📊 SMOLTRACE发布 -轻量级代理评估引擎
- 🔭 TraceVerde发布 -LLM的零代码OTEL仪器
- 🙏 TraceVerde 3K下载 -感谢社区！
______________________________________________________________________
鸣谢
专为：MCP的第一个生日黑客马拉松（2025年11月14日至30日） 轨道：MCP在行动（企业） 作者：Kshitij Thakkar 由...驱动：TraceMind MCP服务器+Gradio+烟雾 内置于Gradio 5.49.1（MCP客户端集成）
特别感谢:
- Eliseu Silva -对于 gradio_htmlplus 为我们的交互式排行榜表格提供动力的自定义组件。Eliseu在黑客马拉松期间的及时帮助和合作是无价的！
赞助商：拥抱脸•谷歌双子座•模态•拟人•Gradio•OpenAI•Nebius•双曲线•ElevenLabs•SambaNova•Blaxel
______________________________________________________________________
许可证
AGPL-3.0-参见 许可证 详情
______________________________________________________________________
支持
- 📧 GitHub问题： TraceMind人工智能/问题
- 💬 HF不一致：
#mcp-1st-birthday-official🏆 - 🏷️ 标签：
mcp-in-action-track-enterprise - 🐦 推特： @TraceMindAI （占位符）
______________________________________________________________________
准备好用AI智能评估你的特工了吗？
🌐 尝试现场演示: https://huggingface.co/spaces/MCP-1st-Birthday/TraceMind