PeakInfer MCP服务器
在Claude Desktop和Claude Code中实现峰值推理性能。
PeakInfer通过将其他人看不到的东西关联在一起，帮助您以最佳性能运行AI推理：您的 代码, 运行时行为, 基准，以及 撤离.
问题
你的代码说 streaming: true.Runtime显示0%的实际流。这是漂移，它会扼杀你的延迟。
峰值推理性能是指： 提高延迟、吞吐量、可靠性和成本 *不改变评估行为*.
特性
- 漂移检测：查找代码声明和运行时行为之间的不匹配
- 运行时连接器：从Helicone和LangSmith获取事件
- 基准比较：将您的指标与InferenceMAX基准（15+型号）进行比较
- 模板库：访问43个优化模板
- 分析历史：跟踪和比较一段时间内的性能
安装
通过npx（推荐）
npx @kalmantic/peakinfer-mcp通过npm（全球）
npm install -g @kalmantic/peakinfer-mcp
peakinfer-mcpClaude桌面配置
添加到 ~/.config/claude/claude_desktop_config.json （macOS）或 %APPDATA%\claude\claude_desktop_config.json （Windows）：
{
"mcpServers": {
"peakinfer": {
"command": "npx",
"args": ["@kalmantic/peakinfer-mcp"],
"env": {
"HELICONE_API_KEY": "your-key-here",
"LANGSMITH_API_KEY": "your-key-here"
}
}
}
}从源代码构建
git clone https://github.com/Kalmantic/peakinfer-mcp.git
cd peakinfer-mcp
npm install
npm run build可用工具
运行时数据
| 工具 | 说明 |
|---|---|
get_helicone_events | 从Helicone获取LLM事件 |
get_langsmith_traces | 从LangSmith那里获取痕迹 |
基准测试
| 工具 | 说明 |
|---|---|
get_inferencemax_benchmark | 获取模型的基准数据 |
compare_to_baseline | 将当前分析与历史基线进行比较 |
模板
| 工具 | 说明 |
|---|---|
list_templates | 列出可用的优化模板 |
get_template | 获取特定模板的详细信息 |
分析
| 工具 | 说明 |
|---|---|
save_analysis | 将分析结果保存到历史记录 |
环境变量
| 变量 | 描述 |
|---|---|
HELICONE_API_KEY | Helicone集成的API密钥 |
LANGSMITH_API_KEY | LangSmith集成的API密钥 |
示例用法
在克劳德桌面或克劳德代码中：
Fetch the last 7 days of events from Helicone and identify any drift between my code and runtime behavior.Compare my current p95 latency to InferenceMAX benchmarks for gpt-4o.Show me optimization templates for improving throughput without changing model behavior.资源
服务器还公开MCP资源：
peakinfer://templates-优化模板（共43个）peakinfer://benchmarks-InferenceMAX基准数据（15+型号）peakinfer://history-分析运行历史
提示
可用提示模板：
analyze-file-分析LLM推理点的文件compare-benchmarks-将您的指标与峰值基准进行比较suggest-optimizations-获取保留行为的优化建议
四个维度
PeakInfer分析4个维度上的每个推理点：
| 维度 | 我们发现了什么 |
|---|---|
| 延迟 | 缺少流媒体、阻止呼叫、p95与基准差距 |
| 吞吐量 | 连续瓶颈、批量机会 |
| 可靠性 | 重试失败、超时、回退 |
| 成本 | 适当大小的模型选择、令牌优化 |
故障排除
服务器未出现在Claude Desktop中
- 检查路径
dist/index.js是绝对的 - 验证
npm run build已成功完成 - 配置更改后重新启动Claude Desktop
API关键错误
- 验证在配置中是否设置了API密钥
env章节 - 在提供商的仪表板上检查密钥是否有效
- 确保键值中没有尾随空格
链接
许可证
阿帕奇-2.0