MCP LLM Bm V2

BFCL-V4-Bench（OpenRouter）

基于OpenRouter API的LLM Function Calling性能评估框架\ *BFCL（伯克利函数调用排行榜）V4기반*

______________________________________________________________________

📋 项目概述

______________________________________________________________________

🎯 评估框架（BFCL V4）

1.评估类别和翻转方式

本项目旨在测量模型的纯函数调用准确度。 单转身（Single-turn） 正在采用这种方式。

2.单轮（我们做的）vs多轮（计划支援）

区分单转身（Single-turn）多转身（Multi-turn） | :--- | :--- | :--- | | 对话结构 | 질문 1회 ➔ 응답 1회 | 질문/응답 반복 （对话）| | 保持状态 |无需（Zero-shot）| 必需 （记住之前的对话背景）| | 评估目的 |纯函数调用和参数准确度|根据对话流推断代理（Agent）的能力| | 当前状态 | 跑完全程（V2.1） |数据集支持（可稍后评估）

3.核心评价指标（Metrics）

指标名称计算逻辑备注 | :--- | :--- | :--- | | 准确度 | Correct / Total |单个类别的纯正确率| | 总体Acc | AVERAGE(Cat_Acc_1, Cat_Acc_2, ...) |各类别正确率的 非加权平均 （BFCL官方）| | 加权Acc | ΣCorrect / ΣTotal |正确答案总数与整个测试案例的比率|

______________________________________________________________________

🤖 各型号的评估结果

类别准确度（%）

主要发现

______________________________________________________________________

🛠️ 安装和首选参数

1.安装依赖性

# 저장소 클론 및 이동
git clone 
cd BFCL-V4-Bench/gorilla/berkeley-function-call-leaderboard

# 패키지 및 리포트 엔진 설치
pip install -e .
pip install openpyxl

2.设置API密钥

.env 在以下路径中创建文件。 (.gitignore受保护）

• 路径: gorilla/berkeley-function-call-leaderboard/.env

OPENROUTER_API_KEY=your_api_key_here

______________________________________________________________________

🚀 快速启动（Quick Start）

# 1. 작업 디렉토리 이동
cd gorilla/berkeley-function-call-leaderboard

# 2. 퀵 테스트 실행 (카테고리별 2개씩, 약 1분 소요)
python run_eval.py --quick

# 3. 결과 확인
open reports/  # 엑셀 보고서 자동 생성됨

执行流

run_eval.py 실행
    │
    ├─➊ 응답 생성 (generate)  → result/*.jsonl
    ├─➋ AST 채점 (evaluate)   → score/*.json
    └─➌ 보고서 생성 (report)  → reports/*.xlsx

______________________________________________________________________

📖 CLI参考

默认运行模式

详细选项

# 특정 모델만 테스트
python run_eval.py --quick --models "openrouter/qwen3-14b-FC"

# 특정 카테고리만 테스트
python run_eval.py --full --categories "simple_python,multiple"

# 샘플링 테스트 (카테고리별 100개씩)
python run_eval.py --sample-size 100

# 병렬 처리로 속도 향상
python run_eval.py --full --num-threads 4

# 기존 결과에 추가 실행 (덮어쓰기 방지)
python run_eval.py --append --categories "parallel"

# 생성 또는 평가 단계 스킵
python run_eval.py --skip-generate   # 평가+보고서만
python run_eval.py --skip-evaluate   # 생성+보고서만

支持型号列表

______________________________________________________________________

📂 体系结构（Architecture）

1.目录树

BFCL-V4-Bench/
├── 📄 README.md           # 프로젝트 통합 가이드
├── ⚙️ .env                # OpenRouter API 키 (보안)
└── 📂 gorilla/
    └── 📂 berkeley-function-call-leaderboard/
        ├── 🐍 run_eval.py       # [핵심] 평가/채점/리포트 통합 실행기
        ├── 🐍 excel_reporter.py # [엔진] 수식 기반 엑셀 생성 모듈
        ├── 📂 bfcl_eval/        # BFCL 원본 프레임워크 모듈
        ├── 📂 reports/          # 최종 엑셀 보고서 (결과물)
        ├── 📂 result/           # 모델 응답 원본 (JSONL)
        └── 📂 score/            # AST 채점 결과 (JSON)

2.配置报告（Excel）页面

______________________________________________________________________

🔗 参考资料

• BFCL官方排行榜
• OpenRouter API文档