绿色计算_TP4
使用Claude Desktop、FastMCP和CodeCarbon的模型上下文协议(MCP)
🚀 人工智能和数据管道可持续性基准
该项目是一项详细的基准研究,比较了 成本、能耗和性能 大型语言模型(LLM)的可持续性和高效性,以及不同数据管道技术(文件格式和处理框架)。所有能源和二氧化碳排放量均使用 CodeCarbon 图书馆。
______________________________________________________________________
1.LLM性能和成本分析(TP1:Compar'IA)
这一阶段的目标是评估一系列任务中不同规模的LLM,重点关注输出质量和运营成本(时间、精力和金钱)之间的权衡。
1.1.模型基准
| 尺寸类别 | 测试型号(共6个) |
|---|---|
| 小 | \[引用起始\]Meta LLaMA 3.1 8B,Gemma 8B\[引用:5\] |
| 中等 | \[cite_start\]Mistral Small,GPT-OSS 20B\[引用:6\] |
| 大的 | \[cite_start\]GPT-5,DeepSeek R1\[引用:7\] |
1.2.涵盖的任务(30个提示)
任务按复杂性分类:
- \[引用_开始\]简单的事实和重写: (1-10)\[引用:31\]
- \[引用_开始\]推理和定量: (11-15)(例如,数学问题、转换)\[引用:42,43,47\]
- \[引用_开始\]编程与调试: (16-20)(例如,Python代码,大O复杂度)\[引用:48,49,53\]
- \[引用_开始\]更难的知识和推理: (21-25)(例如,复杂的比较,解释架构)\[引用:54,55,58\]
- \[引用_开始\]高级/创意和多步骤: (26-30)(例如,项目规划、起草法律免责声明)\[引用:60、61、63\]
1.3.TP1的交付成果
- \[引用_开始\]电子表格: 包含30个任务中所有6个模型的所有收集指标(质量、延迟、能量、二氧化碳、成本)\[引用:68\]。
- 仪表板可视化:
- \[引用_开始\]Quality vs Energy 图表\[引用:70\]。 - \[引用_开始\]Quality vs Cost 图表\[引用:71\]。 - \[引用_开始\]Latency vs Model size 比较\[引用:72\]。 - \[cite_start\]决赛 best trade-off 排名表\[引用:73\]。
- \[引用_开始\]滑板: 2-3张幻灯片总结了关键发现,并推荐了哪种模型最适合特定用例\[引用:74\]。
______________________________________________________________________
2.数据管道效率基准
\[cite_start\]此阶段比较不同的数据处理框架和文件格式,测量同一管道的运行时间和排放量(合并书籍和评论数据\[cite:227235250\])。
2.1.框架比较(TP2:Pandas与PySpark)
\[cite_start\]我们比较了使用Pandas和PySpark执行相同步骤(加载、清理、连接、计算度量、文本处理、保存)的两个管道\[cite:273\]。
| 度量 | \[cite-start\]熊猫基线\[cite:288290\] | \[cite/start\]PySpark(本地模式)\[cite:299302\] |
|---|---|---|
| 持续时间 | \[cite_start\]用CodeCarbon跟踪器测量\[cite:292\] | \[cite_start\]用CodeCarbon跟踪器测量\[cite:302\] |
| 二氧化碳/能源 | \[cite_start\]排放跟踪器输出\[cite:296297\] | \[cite_start\]排放跟踪器输出来\[cite:302\] |
分析重点:
- \[cite_start\]比较每个框架的运行时间和二氧化碳排放量\[引用:308312314\]。
- \[cite_start\]讨论并行性对可持续性的影响\[引用:315\]。
- \[cite_start\]计算并分析 效率比率 (数据处理/二氧化碳排放)\[引用:309310\]。
- \[引用_开始\]生态设计实验: 在一次优化(例如,过滤列、缓存)后实施并重新测量排放量\[引用:317318320321\]。
2.2.文件格式比较(TP3:CSV与Parquet)
\[cite_start\]我们在读/写时比较了整个ETL管道 CSV 文件对比 镶木地板 文件(使用Snappy压缩)\[引用:389390420\]。
| 度量 | \[cite_start\]CSV管道\[cite:404\] | \[cite-start\]Parquet管道(Snappy)\[cite:419\] |
|---|---|---|
| 演出 | \[引用_开始\]pd.read_csv(), df.to_csv() \[引用:411416\] | \[引用_开始\]pd.read_parquet(), df.to_parquet() \[引用:430435\] |
| 存储空间 | 实测文件大小 | \[cite_start\]实测文件大小(预计减少5-10美元)\[cite:467\] |
| 可持续性 | \[cite_start\]通过CodeCarbon测量的二氧化碳和能量\[cite:406\] | \[cite_start\]通过CodeCarbon测量的CO2和能量\[cite:427\] |
分析重点:
- \[cite_start\]比较I/O操作(加载/保存)的运行时间、能量和二氧化碳\[cite:440446\]。
- \[cite_start\]量化柱状格式(Parquet)实现的存储节省\[cite:449\]。
- \[cite_start\]讨论格式的可读性、性能和可持续性之间的权衡\[cite:464\]。
2.3.TP2和TP3的交付成果
- \[引用_开始\]代码:
tp_codecarbon_books.ipynb(TP2)和tp_codecarbon_parquet.ipynb(TP3)\[引用:327461\]。 - \[引用_开始\]日志:
emissions_pandas.csv,emissions_spark.csv,emissions_csv.csv,emissions_parquet.csv\[引用:328329462\]。 - \[引用_开始\]数字: 框架和文件格式的排放和运行时比较图\[引用:330463\]。
- \[引用_开始\]反思: 关于框架(TP2)和文件格式(TP3)比较的简短书面反思\[引用:331464\]。
______________________________________________________________________
3.LLM工具和环境成本(TP4:模型上下文协议)
这个最后阶段调查了从LLM的“推理”(内部推理)到外部卸载任务对环境的影响 模型上下文协议(MCP) 工具调用,使用CodeCarbon进行检测。
3.1.实施工具
\[cite_start\]服务器必须使用 fastmcp 和 codecarbon 软件包\[引用:194195\]:
| 练习 | 工具描述 | 工具目标 |
|---|---|---|
| A. | \[引用_开始\]add(a: int, b: int) \[cite:114\] | \[cite_start\]比较模型内部计算与工具调用,以获得较大的总和\[cite:145146\]。 |
| B | \[引用_开始\]factorial(n: int) \[引用:155\] | \[引用:开始\]比较递归数学函数的模型内部计算与工具调用\[引用:162\]。 |
| C | \[引用_开始\]analyze_file(path: str) \[cite:172\] | \[cite_start\]用于读取本地文件、计数单词并返回JSON摘要的工具\[cite:167168169\]。 |
3.2.度量与比较
您必须为每个任务填写一个比较表,衡量:
- \[引用_开始\]方法: 模型推理(仅提示)与MCP工具调用\[引用:178\]。
- \[引用_开始\]韵律学: 潜伏期、能量(kWh)、排放量(kgCO2eq)\[引用:178\]。
3.3.关键分析问题(幻灯片中必填)
- 在哪种情况下,MCP方法会减少 幻觉风险?\[cite_start\]为什么?\[引用:186\]
- \[cite_start\]工具延迟是否超过了节能?\[引用:187\]
- \[cite_start\]哪些任务最好用工具而不是模型来完成?\[引用:189\]
- \[cite_start\]如果大规模部署,哪种方法更有效 可持续的 (仅模型与工具辅助)?\[引用:190\]
3.4.TP4的交付成果
- \[引用_开始\]代码:
server.py对于MCP服务器,至少有三个已实现和仪表化的工具,以及CodeCarbon整合\[引用:193194195\]。 - \[引用_开始\]电子表格: 延迟、能量和排放结果的比较表\[引用:196197198\]。
- \[引用_开始\]滑梯台(4-6张): 包括Claude Desktop工具调用的屏幕截图、排放日志、比较图表以及基于两者的最终建议 环境成本 和 运行可靠性\[引用:202、203、204、205、206、214、215\]。
