Judges CLI

评审团

MCP（模型上下文协议）服务器，提供以下面板 45名专业法官 评估人工智能生成的代码——无论审查哪个项目，都充当独立的质量门。联合 确定性模式匹配和AST分析 （即时、离线、零LLM呼叫） LLM驱动的深度审查提示 让你的人工智能助手在所有45个领域进行专家角色分析。

亮点：

• 包括 App Builder工作流（3步） 发布决策演示、简明语言风险总结和优先级修复——请参阅 尝试演示.
• 包含 V2上下文感知评估 通过政策简介、证据校准、专业反馈、置信度评分和不确定性报告。
• 包含 公共存储库URL报告 克隆一个回购，运行完整的仲裁庭，并输出一份合并的降价报告。
• 200+确定性自动修复补丁 （参见 src/patches/index.ts)加上LLM支持的深度审查。

🧪 许多命令 printHelp 是实验性的/路线图。默认情况下，我们只显示GA命令。集 JUDGES_SHOW_EXPERIMENTAL=1 揭露存根；这些可能还没有连接。

 ](https://www.npmjs.com/package/@kevinrabun/judges) ](https://www.npmjs.com/package/@kevinrabun/judges)  

🔰 包裹 - 命令行界面: @kevinrabun/judges-cli → 二进制 judges （使用 npx @kevinrabun/judges-cli eval --file app.ts). - MCP/neneneba API: @kevinrabun/judges → 程序化API+MCP服务器(npm install @kevinrabun/judges). - VS代码扩展：参见 vscode-extension/. - GitHub行动: uses: KevinRabun/judges@main （参见 CI快速入门).

______________________________________________________________________

快速入门

CLI（一次性）

# Using the CLI package (recommended)
npx @kevinrabun/judges-cli eval --file src/app.ts

# Show GA commands only (default)
npx @kevinrabun/judges-cli --help

# Show experimental/roadmap commands
echo "JUDGES_SHOW_EXPERIMENTAL=1" >> $GITHUB_ENV
npx @kevinrabun/judges-cli --help

# License scan (supply-chain & license compliance)
npx @kevinrabun/judges-cli license-scan --dir .

CLI与API： 如果您想在应用程序（MCP/neneneba API）中嵌入Judges，请安装 @kevinrabun/judges。对于命令行，请使用 @kevinrabun/judges-cli （二进制 judges).

GitHub行动

name: Judges
on: [pull_request, push]
jobs:
  judges:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: KevinRabun/judges@main
        with:
          path: .
          diff-only: true           # evaluate only changed lines in PRs (default true)
          fail-on-findings: true    # fail on critical/high findings
          upload-sarif: true        # upload SARIF to GitHub Code Scanning

编程API（包括MCP服务器）

npm install @kevinrabun/judges

import { evaluateCode } from "@kevinrabun/judges/api";
const verdict = evaluateCode("const password = 'ProdSecret';", "typescript");
console.log(verdict.overallVerdict, verdict.overallScore);

MCP服务器

MCP服务器在stdio上运行，由您的MCP客户端（VS Code、Claude Desktop等）启动。 在MCP设置中配置它（例如。 mcp.json):

{
  "servers": {
    "judges": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "@kevinrabun/judges"]
    }
  }
}

或者直接运行服务器：

npx @kevinrabun/judges
# Starts the MCP server on stdio

配置文件： .judgesrc.json （支持 ${ENV_VAR} 替代通过 expandEnvPlaceholders).看 配置.

______________________________________________________________________

为什么是法官？

AI代码生成器（Copilot、Cursor、Claude、ChatGPT等）编写代码很快，但它们通常会生成 不安全的默认值、缺少身份验证、硬编码的秘密和糟糕的错误处理人类审查员捕捉到了其中的一些，但没有人能始终如一地审查45个维度。

法官不会更换门楣 --它涵盖了linters没有的维度：身份验证策略、数据主权、成本模式、可访问性、特定于框架的反模式以及跨多个文件的架构问题。

______________________________________________________________________

快速开始

前提条件：Node.js >=18 （建议>=20）， npx 可用。这 judges CLI二进制文件随附 @凯文拉布/法官cli （首选），也可通过以下方式工作 npx @kevinrabun/judges. 包装： - CLI： npm install -g @kevinrabun/judges-cli （或 npx @kevinrabun/judges-cli ...) - MCP/neneneba API： npm install @kevinrabun/judges

使用 @kevinrabun/judges 用于MCP服务器和编程API。使用 @kevinrabun/judges-cli 当你想要 judges 终端命令。

立即尝试（无需克隆）

# Install the CLI globally
npm install -g @kevinrabun/judges-cli

# Evaluate any file
judges eval src/app.ts

# Pipe from stdin
cat api.py | judges eval --language python

# Single judge
judges eval --judge cybersecurity server.ts

# SARIF output for CI
judges eval --file app.ts --format sarif > results.sarif

# HTML report with severity filters and dark/light theme
judges eval --file app.ts --format html > report.html

# Fail CI on findings (exit code 1)
judges eval --fail-on-findings src/api.ts

# Suppress known findings via baseline
judges eval --baseline baseline.json src/api.ts

# Use a named preset
judges eval --preset security-only src/api.ts

# Use a config file
judges eval --config .judgesrc.json src/api.ts

# Set a minimum score threshold (exit 1 if below)
judges eval --min-score 80 src/api.ts

# One-line summary for scripts
judges eval --summary src/api.ts

# Agentic skills (orchestrated judge sets)
judges skill ai-code-review --file src/app.ts
judges skill security-review --file src/api.ts --format json
judges skill release-gate --file src/app.ts
judges skills   # list available skills

> Full catalog: [`docs/skills.md`](docs/skills.md)

# List all 45 judges
judges list

其他CLI命令

# Interactive project setup wizard
judges init

# Preview auto-fix patches (dry run)
judges fix src/app.ts

# Apply patches directly
judges fix src/app.ts --apply

# License compliance scan (copyleft/unknown detection)
judges license-scan --format json --risk high

# Watch mode — re-evaluate on file save
judges watch src/

# Project-level report (local directory)
judges report . --format html --output report.html

# Evaluate a unified diff (pipe from git diff)
git diff HEAD~1 | judges diff

# Analyze dependencies for supply-chain risks
judges deps --path . --format json

# Run GitHub App server (zero-config PR reviews)
judges app serve --port 4567

# Run GitHub PR review (gh CLI required)
judges review --pr 123 --repo owner/name --diff-only

# Auto-tune presets and configs
judges tune --dir . --apply

# Create a baseline file to suppress known findings
judges baseline create --file src/api.ts -o baseline.json

# Generate CI template files
judges ci-templates --provider github
judges ci-templates --provider gitlab
judges ci-templates --provider azure
judges ci-templates --provider bitbucket

# Generate per-judge rule documentation
judges docs
judges docs --judge cybersecurity
judges docs --output docs/

# Install shell completions
judges completions bash   # eval "$(judges completions bash)"
judges completions zsh
judges completions fish
judges completions powershell

# Install pre-commit hook
judges hook install

# Uninstall pre-commit hook
judges hook uninstall

🔎 提示：CLI帮助现在默认为 仅GA命令。要查看实验/路线图命令，请运行： ``bash JUDGES_SHOW_EXPERIMENTAL=1 judges --help ``

GitHub应用程序（自托管webhook）

以GitHub应用程序的身份运行零配置PR审阅器：

# Run the webhook server locally
judges app serve --port 4567

必需的环境变量：

• JUDGES_APP_ID –GitHub应用程序ID
• JUDGES_PRIVATE_KEY 或 JUDGES_PRIVATE_KEY_PATH –PEM私钥
• JUDGES_WEBHOOK_SECRET –签名验证密钥

可选：

• JUDGES_MIN_SEVERITY （默认值： medium)
• JUDGES_MAX_COMMENTS （默认值：25）
• JUDGES_TEST_DRY_RUN=1 避免在测试期间进行实时网络呼叫

对于本地测试，您可以公开 http://localhost:4567/webhook 通过 韩国http 4567 并相应地配置GitHub App webhook URL。

在GitHub操作中使用

使用零配置将Judges添加到您的CI管道中：

# .github/workflows/judges.yml
name: Judges Code Review
on: [pull_request]

jobs:
  judges:
    runs-on: ubuntu-latest
    permissions:
      contents: read
      security-events: write  # only if using upload-sarif
    steps:
      - uses: actions/checkout@v4
      - uses: KevinRabun/judges@main
        with:
          path: src/api.ts        # file or directory
          format: text             # text | json | sarif | markdown
          upload-sarif: true       # upload to GitHub Code Scanning
          fail-on-findings: true   # fail CI on critical/high findings

输出 可用于下游步骤： verdict, score, findings, critical, high, sarif-file.

与Docker一起使用（不需要Node.js）

# Build the image
docker build -t judges .

# Evaluate a local file
docker run --rm -v $(pwd):/code judges eval --file /code/app.ts

# Pipe from stdin
cat api.py | docker run --rm -i judges eval --language python

# List judges
docker run --rm judges list

或用作MCP服务器

1.安装和构建

git clone https://github.com/KevinRabun/judges.git
cd judges
npm install
npm run build

2.尝试演示

运行附带的演示，查看所有45位评委评估一个故意有缺陷的API服务器：

npm run demo

这评估 examples/sample-vulnerable-api.ts --一个故意填充安全漏洞、性能反模式和代码质量问题的文件，并打印一份包含每位法官得分和调查结果的完整判决。

演示现在还包括 App Builder工作流（3步） 部分。在一次运行中，您将获得仲裁庭输出和工作流输出：

• 释放决定(Ship now / Ship with caution / Do not ship)
• 主要风险的简明语言总结
• 优先补救任务和AI可修复 P0/P1 物品

示例工作流输出（截断）：

╔══════════════════════════════════════════════════════════════╗
║             App Builder Workflow Demo (3-Step)             ║
╚══════════════════════════════════════════════════════════════╝

  Decision       : Do not ship
  Verdict        : FAIL (47/100)
  Risk Counts    : Critical 24 | High 27 | Medium 55

  Step 2 — Plain-Language Findings:
  - [CRITICAL] DATA-001: Hardcoded password detected
      What: ...
      Why : ...
      Next: ...

  Step 3 — Prioritized Tasks:
  - P0 | DEVELOPER | Effort L | DATA-001
      Task: ...
      Done: ...

  AI-Fixable Now (P0/P1):
  - P0 DATA-001: ...

仲裁庭输出示例（截断）：

╔══════════════════════════════════════════════════════════════╗
║           Judges Panel — Full Tribunal Demo                 ║
╚══════════════════════════════════════════════════════════════╝

  Overall Verdict : FAIL
  Overall Score   : 43/100
  Critical Issues : 15
  High Issues     : 17
  Total Findings  : 83
  Judges Run      : 33

  Per-Judge Breakdown:
  ────────────────────────────────────────────────────────────────
  ❌ Judge Data Security              0/100    7 finding(s)
  ❌ Judge Cybersecurity              0/100    7 finding(s)
  ❌ Judge Cost Effectiveness        52/100    5 finding(s)
  ⚠️  Judge Scalability              65/100    4 finding(s)
  ❌ Judge Cloud Readiness           61/100    4 finding(s)
  ❌ Judge Software Practices        45/100    6 finding(s)
  ❌ Judge Accessibility              0/100    8 finding(s)
  ❌ Judge API Design                 0/100    9 finding(s)
  ❌ Judge Reliability               54/100    3 finding(s)
  ❌ Judge Observability             45/100    5 finding(s)
  ❌ Judge Performance               27/100    5 finding(s)
  ❌ Judge Compliance                 0/100    4 finding(s)
  ⚠️  Judge Testing                  90/100    1 finding(s)
  ⚠️  Judge Documentation            70/100    4 finding(s)
  ⚠️  Judge Internationalization     65/100    4 finding(s)
  ⚠️  Judge Dependency Health        90/100    1 finding(s)
  ❌ Judge Concurrency               44/100    4 finding(s)
  ❌ Judge Ethics & Bias             65/100    2 finding(s)
  ❌ Judge Maintainability           52/100    4 finding(s)
  ❌ Judge Error Handling            27/100    3 finding(s)
  ❌ Judge Authentication             0/100    4 finding(s)
  ❌ Judge Database                   0/100    5 finding(s)
  ❌ Judge Caching                   62/100    3 finding(s)
  ❌ Judge Configuration Mgmt         0/100    3 finding(s)
  ⚠️  Judge Backwards Compat         80/100    2 finding(s)
  ⚠️  Judge Portability              72/100    2 finding(s)
  ❌ Judge UX                        52/100    4 finding(s)
  ❌ Judge Logging Privacy            0/100    4 finding(s)
  ❌ Judge Rate Limiting             27/100    4 finding(s)
  ⚠️  Judge CI/CD                    80/100    2 finding(s)

3.运行测试

npm test

运行涵盖所有判断器、AST解析器、markdown格式化器和边缘情况的自动化测试。

4.连接到编辑器

VS代码（推荐--零配置）

安装 评审团 从市场扩展。它提供：

• 在线诊断和快速修复 每次保存文件时
• @judges 聊天参与者 --类型 @judges 在Copilot聊天中，或者只要求“评委小组评审”，Copilot就会自动路由
• 自动配置MCP服务器 --Copilot无需设置即可使用所有45个专家角色提示

code --install-extension kevinrabun.judges-panel

VS代码——手动MCP配置

如果您更喜欢显式的工作区配置（或希望没有扩展的队友受益），请创建 .vscode/mcp.json:

{
  "servers": {
    "judges": {
      "command": "npx",
      "args": ["-y", "@kevinrabun/judges"]
    }
  }
}

克劳德桌面

增添 claude_desktop_config.json:

{
  "mcpServers": {
    "judges": {
      "command": "npx",
      "args": ["-y", "@kevinrabun/judges"]
    }
  }
}

游标/其他MCP客户端

使用相同 npx 适用于任何MCP兼容客户端的命令：

{
  "command": "npx",
  "args": ["-y", "@kevinrabun/judges"]
}

5.在GitHub Copilot PR评论中使用评委

是的，用户可以将Judges作为基于GitHub的审核工作流程的一部分，但有一个重要的警告：

• 主办 copilot-pull-request-reviewer GitHub上目前不允许您像VS Code那样直接连接任意本地MCP服务器。
• 实际模式是在每个PR上运行CI中的Judges，发布报告/检查，并让Copilot+人工审阅者在审阅过程中使用该输出。

选项A（推荐）：PR工作流检查+报告工件

创建 .github/workflows/judges-pr-review.yml:

name: Judges PR Review

on:
  pull_request:
    types: [opened, synchronize, reopened]

jobs:
  judges:
    runs-on: ubuntu-latest
    permissions:
      contents: read
      pull-requests: write

    steps:
      - name: Checkout
        uses: actions/checkout@v4

      - name: Setup Node
        uses: actions/setup-node@v4
        with:
          node-version: 20
          cache: npm

      - name: Install
        run: npm ci

      - name: Generate Judges report
        run: |
          npx tsx -e "import { generateRepoReportFromLocalPath } from './src/reports/public-repo-report.ts';
          const result = generateRepoReportFromLocalPath({
            repoPath: process.cwd(),
            outputPath: 'judges-pr-report.md',
            maxFiles: 600,
            maxFindingsInReport: 150,
          });
          console.log('Overall:', result.overallVerdict, result.averageScore);"

      - name: Upload report artifact
        uses: actions/upload-artifact@v4
        with:
          name: judges-pr-report
          path: judges-pr-report.md

这为每个PR提供了一个可重复的评审输出，您的团队（和副驾驶）可以参考。

选项B：在仓库中添加Copilot自定义指令

添加 .github/instructions/judges.instructions.md 在以下指导下：

When reviewing pull requests:
1. Read the latest Judges report artifact/check output first.
2. Prioritize CRITICAL and HIGH findings in remediation guidance.
3. If findings conflict, defer to security/compliance-related Judges.
4. Include rule IDs (e.g., DATA-001, CYBER-004) in suggested fixes.

这有助于使副驾驶的反馈与法官的调查结果保持一致。

______________________________________________________________________

CLI 参考

所有命令支持 --help 了解使用详情。

judges eval

与所有45名法官或一名法官一起评估一份文件。

/ -o |将输出写入文件| | --fail-on-findings |如果判定为失败，则以代码1退出| | --baseline / -b |JSON基线文件——抑制已知发现| | --summary |打印一行摘要（非常适合脚本）| | --config |加载a .judgesrc / .judgesrc.json 配置文件| | --preset |使用命名预设（请参见 [命名预设](#named-presets) 对于所有22个选项）| | --min-score |如果总分低于此阈值，则以代码1退出| | --verbose |打印定时和调试信息| | --quiet |抑制非必要输出| | --no-color` |禁用ANSI颜色|

judges init

生成项目配置的交互式向导：

• .judgesrc.json --规则自定义、禁用判断、严重性阈值
• .github/workflows/judges.yml --GitHub操作CI工作流
• .gitlab-ci.judges.yml --GitLab CI管道（可选）
• azure-pipelines.judges.yml --Azure管道（可选）

judges fix

预览或应用来自确定性发现的自动修复补丁。

judges watch

保存时不断重新评估文件。

judges report

在本地目录上运行一个完整的项目级仲裁庭。

judges hook

管理一个Git预提交钩子，对暂存文件运行Judges。

judges hook install    # add pre-commit hook
judges hook uninstall  # remove pre-commit hook

检测赫斯基(.husky/pre-commit)并回落到 .git/hooks/pre-commit。使用基于标记的注射，因此不会破坏现有的钩子。

judges diff

仅评估来自统一差分的变化线（例如。， git diff 输出）。

git diff HEAD~1 | judges diff
judges diff --file changes.patch --format sarif

judges deps

分析供应链风险的项目依赖关系。

judges deps --path .
judges deps --path ./backend --format json

judges baseline

创建一个基线文件，以在未来的评估中抑制已知的发现。

judges baseline create --file src/api.ts
judges baseline create --file src/api.ts -o .judges-baseline.json

judges ci-templates

为常用提供商生成CI/CD配置模板。

judges ci-templates --provider github   # .github/workflows/judges.yml
judges ci-templates --provider gitlab   # .gitlab-ci.judges.yml
judges ci-templates --provider azure    # azure-pipelines.judges.yml
judges ci-templates --provider bitbucket # bitbucket-pipelines.yml (snippet)

judges docs

在Markdown中生成每个法官的规则文档。

judges docs                          # all judges to stdout
judges docs --judge cybersecurity    # single judge
judges docs --output docs/judges/    # write files to directory

judges completions

生成shell完成脚本。

eval "$(judges completions bash)"        # Bash
eval "$(judges completions zsh)"         # Zsh
judges completions fish | source         # Fish
judges completions powershell            # PowerShell (Register-ArgumentCompleter)

命名预设

使用 --preset 要应用预配置的评估设置，请执行以下操作：

judges eval --preset security-only src/api.ts
judges eval --preset strict --format sarif src/app.ts > results.sarif

CI输出格式

JUnit XML

为Jenkins、Azure DevOps、GitHub Actions或GitLab测试结果查看器生成JUnit XML：

judges eval --format junit src/api.ts > results.xml

每个裁判都会映射到一个 `，每个发现都成为 和 ` 严重/高度严重。

CodeClimate/GitLab代码质量

为GitLab代码质量或类似工具生成CodeClimate JSON：

judges eval --format codeclimate src/api.ts > codequality.json

分数徽章

为您的自述文件生成SVG或文本徽章：

import { generateBadgeSvg, generateBadgeText } from "@kevinrabun/judges/badge";

const svg = generateBadgeSvg(85);          // shields.io-style SVG
const text = generateBadgeText(85);        // "✓ judges 85/100"
const svg2 = generateBadgeSvg(75, "quality"); // custom label

______________________________________________________________________

法官小组

______________________________________________________________________

运作原理

该法庭分三层运作：

1. 基于模式的分析 --所有工具(evaluate_code, evaluate_code_single_judge, evaluate_project, evaluate_diff)使用正则表达式模式匹配进行启发式分析，以捕捉常见的反模式。该层是即时的、确定性的，并且完全离线运行，没有任何外部API调用。

1. 基于AST的结构分析 --代码结构判断(STRUCT-* rules）使用真正的抽象语法树解析来测量圈复杂度、嵌套深度、函数长度、参数计数、死代码和类型安全性，其精度是正则表达式无法达到的。所有支持的语言-- TypeScript、JavaScript、Python、Rust、Go、Java、C#和C++ --通过以下方式解析 树保姆WASM语法 （编译为WebAssembly的真实语法树，进程内，零本机依赖）。当WASM语法不可用时，会保留一个范围跟踪结构解析器作为后备。不需要外部AST服务器。

1. LLM驱动的深度分析（提示） --服务器公开MCP提示（例如。， judge-data-security, judge-cybersecurity)提供每个法官的专家角色作为系统提示。当由基于LLM的客户端（Copilot、Claude、Cursor等）使用时，主机LLM会执行超出静态模式检测范围的更深入、上下文感知的概率分析。这就是 systemPrompt 每个评委都很活跃——评委本身不会打法学硕士电话，但它提供了专家标准，这样你的人工智能助理就可以充当45名专业评审员。

______________________________________________________________________

可组合设计

评审团是 双层 审核系统：即时 确定性工具 （离线，没有API键）用于模式和AST分析，以及 45个专家角色MCP提示 当连接到AI客户端时，解锁LLM驱动的深度分析。它并不试图成为CVE扫描器或linter。这些功能属于专用的MCP服务器，AI代理可以与Judges一起编排。

内置AST分析

与建议单独使用AST MCP服务器的早期版本不同，Judges Panel现在包括 基于真实AST的结构分析 开箱即用：

• TypeScript、JavaScript、Python、Rust、Go、Java、C#、C++ --全部用a解析 统一树保姆WASM引擎 用于完整的语法树分析（函数、复杂性、嵌套、死代码、类型安全）。当WASM语法不可用时，回退到范围跟踪结构解析器

代码结构判断(STRUCT-*)使用这些解析器来精确测量：

推荐的MCP堆栈

当你的AI编码助手连接到多个MCP服务器时，每个服务器都贡献了自己的专长：

┌─────────────────────────────────────────────────────────┐
│                   AI Coding Assistant                   │
│              (Claude, Copilot, Cursor, etc.)            │
└──────┬──────────────────┬──────────┬───────────────────┘
       │                  │          │
       ▼                  ▼          ▼
  ┌──────────────┐  ┌────────┐  ┌────────┐
  │   Judges     │  │  CVE / │  │ Linter │
  │   Panel      │  │  SBOM  │  │ Server │
  │ ─────────────│  └────────┘  └────────┘
  │ 44 Heuristic │   Vuln DB     Style &
  │   judges     │   scanning    correctness
  │ + AST judge  │
  └──────────────┘
   Patterns +
   structural
   analysis

这在实践中意味着什么

当你问你的人工智能助手时 *“代码生产准备好了吗？”*，代理人可以：

1. 评审团 → 扫描硬编码的秘密、缺失的错误处理、N+1查询、可访问性差距、合规性问题， 加 分析圈复杂度，检测死代码，并通过AST标记深度嵌套函数
2. CVE服务器 → 检查中的每个依赖项 package.json 针对已知漏洞
3. Linter服务器 → 执行团队风格规则，抓住特定语言的陷阱

每个服务器返回结构化的结果。人工智能将所有内容综合成一个单一的、可操作的审查——没有一台服务器需要完成所有工作。

______________________________________________________________________

MCP工具

evaluate_v2

跑 V2情境感知法庭评估 旨在提高首席工程师/建筑师级审查的反馈质量：

• 策略配置文件校准(default, startup, regulated, healthcare, fintech, public-sector)
• 上下文摄取（架构注释、约束、标准、已知风险、数据边界模型）
• 运行时证据挂钩（测试、覆盖率、延迟、错误率、漏洞计数）
• 按法官/领域汇总专业反馈
• 信心评分和明确的不确定性报告

支持：

• 代码模式: code + language
• 项目模式: files[]

evaluate_app_builder_flow

跑 三步应用构建器工作流程 对于技术和非技术利益相关者：

1. 法庭审查（代码/项目/差异）
2. 顶级风险的简明语言翻译
3. 通过AI可修复的P0/P1提取，优先处理修复任务

支持：

• 代码模式: code + language
• 项目模式: files[]
• Diff模式: code + language + changedLines[]

evaluate_public_repo_report

克隆a 公共存储库URL，在符合条件的源文件中运行完整的评判小组，并生成一份合并的降价报告。

快速示例

从CLI生成报告：

npm run report:public-repo -- --repoUrl https://github.com/microsoft/vscode --output reports/vscode-judges-report.md

# stricter credential-signal mode (optional)
npm run report:public-repo -- --repoUrl https://github.com/openclaw/openclaw --credentialMode strict --output reports/openclaw-judges-report-strict.md

# judge findings only (exclude AST/code-structure findings)
npm run report:public-repo -- --repoUrl https://github.com/openclaw/openclaw --includeAstFindings false --output reports/openclaw-judges-report-no-ast.md

# show only findings at 80%+ confidence
npm run report:public-repo -- --repoUrl https://github.com/openclaw/openclaw --minConfidence 0.8 --output reports/openclaw-judges-report-high-confidence.md

# include must-fix gate summary in the generated report
npm run report:public-repo -- --repoUrl https://github.com/openclaw/openclaw --enableMustFixGate true --mustFixMinConfidence 0.9 --mustFixDangerousPrefix AUTH --mustFixDangerousPrefix CYBER --output reports/openclaw-judges-report-mustfix.md

# opinionated quick-start mode (recommended first run)
npm run report:quickstart -- --repoUrl https://github.com/openclaw/openclaw --output reports/openclaw-quickstart.md

来自MCP客户端的呼叫：

{
  "tool": "evaluate_public_repo_report",
  "arguments": {
    "repoUrl": "https://github.com/microsoft/vscode",
    "branch": "main",
    "maxFiles": 400,
    "maxFindingsInReport": 120,
    "credentialMode": "strict",
    "includeAstFindings": false,
    "minConfidence": 0.8,
    "enableMustFixGate": true,
    "mustFixMinConfidence": 0.9,
    "mustFixDangerousRulePrefixes": ["AUTH", "CYBER", "DATA"],
    "outputPath": "reports/vscode-judges-report.md"
  }
}

典型的响应摘要包括：

• 总体评价和平均得分
• 分析文件数量和总发现
• 每位裁判评分表
• 最高风险发现和最低评分文件

示例报告片段：

# Public Repository Full Judges Report

Generated from https://github.com/microsoft/vscode on 2026-02-21T12:00:00.000Z.

## Executive Summary
- Overall verdict: WARNING
- Average file score: 78/100
- Total findings: 412 (critical 3, high 29, medium 114, low 185, info 81)

get_judges

列出所有可用的法官及其域名和描述。

evaluate_code

将代码提交给 全体评委小组所有45名法官独立评估并作出合并判决。

evaluate_code_single_judge

将代码提交给 具体法官 进行有针对性的审查。

evaluate_project

提交多个文件 项目级分析所有45名法官都会评估每个文件，加上跨文件架构分析，可以检测代码重复、不一致的错误处理和依赖循环。

evaluate_diff

仅评估 变线 在代码diff中。对整个文件运行所有45个判断，但将结果过滤到您指定的行。非常适合公关审查和增量分析。

analyze_dependencies

分析依赖清单文件，了解供应链风险、版本固定问题、拼写错误指示符和依赖卫生。支持 package.json, requirements.txt, Cargo.toml, go.mod, pom.xml，以及 .csproj 文件夹。

evaluate_git_diff

仅评估 变线 从git diff.提供 repoPath 对于实时git diff或 diffText 对于预先计算的统一微分。

re_evaluate_with_context

重新运行法庭 作为背景的先前发现 用于迭代细化。支持争议解决、开发人员上下文注入和焦点区域过滤。

其他MCP工具

法官ID

data-security · cybersecurity · security · cost-effectiveness · scalability · cloud-readiness · software-practices · accessibility · api-design · api-contract · reliability · observability · performance · compliance · data-sovereignty · testing · documentation · internationalization · dependency-health · concurrency · ethics-bias · maintainability · error-handling · authentication · database · caching · configuration-management · backwards-compatibility · portability · ux · logging-privacy · rate-limiting · ci-cd · code-structure · agent-instructions · ai-code-safety · framework-safety · iac-security · hallucination-detection · intent-alignment · multi-turn-coherence · model-fingerprint · over-engineering · logic-review · false-positive-review

______________________________________________________________________

MCP提示

每位评委都有相应的LLM深度分析提示：

______________________________________________________________________

配置

创建一个 .judgesrc.json （或 .judgesrc)项目根目录中的文件，用于自定义评估行为。看 .judgesrc.example.json 对于可复制粘贴的模板，或参考 JSON 模式 用于完整的IDE自动补全。

{
  "$schema": "https://github.com/KevinRabun/judges/blob/main/judgesrc.schema.json",
  "preset": "strict",
  "minSeverity": "medium",
  "disabledRules": ["COST-*", "I18N-001"],
  "disabledJudges": ["accessibility", "ethics-bias"],
  "ruleOverrides": {
    "SEC-003": { "severity": "critical" },
    "DOC-*": { "disabled": true }
  },
  "languages": ["typescript", "python"],
  "format": "text",
  "failOnFindings": false,
  "baseline": "",
  "regulatoryScope": ["GDPR", "PCI-DSS", "SOC2"],
  "consensusThreshold": 0.7
}

所有评估工具（CLI和MCP）通过以下方式接受相同的配置字段 --config 或内联 config 参数。

______________________________________________________________________

高级功能

内联抑制

使用注释指令直接在源代码中抑制特定发现：

const x = eval(input); // judges-ignore SEC-001
// judges-ignore-next-line CYBER-002
const y = dangerousOperation();
// judges-file-ignore DOC-*    ← suppress globally for this file

支持的评论样式： //, #, /* */.支持逗号分隔的规则ID和通配符(*, SEC-*).

自动修复补丁

某些发现包括机器适用的补丁 patch 字段：

补丁包括 oldText, newText, startLine，以及 endLine 用于自动化应用。

交叉计算器重复数据删除

当多个判断者标记同一问题时（例如，数据安全和网络安全都在第15行检测到SQL注入），结果会自动进行重复数据消除。最高严重性发现获胜。， *“另标识为：CYBER-003”*).

人类焦点指南

每次法庭评估都包括 humanFocusGuide 它将研究结果分为三类，供人类审阅者使用：

盲点是从代码特征中检测出来的：复杂的分支逻辑、外部服务调用、财务计算、PII处理、状态机和复杂的正则表达式。该指南出现在CLI文本/markdown输出、JSON/SARIF输出和GitHub操作步骤摘要中。

监管范围

在中配置哪些监管框架适用于您的项目 .judgesrc:

{ "regulatoryScope": ["GDPR", "PCI-DSS", "SOC2"] }

仅引用范围外框架的调查结果被压制。始终保留没有监管参考（一般代码质量）的发现。跑 judges list --frameworks 查看所有17个支持的框架（GDPR、CCPA、HIPAA、PCI-DSS、SOC2、SOX、COPPA、FedRAMP、NIST、ISO27001、ePrivacy、DORA、NIS2、欧盟人工智能法案等）。

自学修正案

LLM基准系统自动为假阳性率较高的法官生成精确修正。修正是数据驱动的修正，注入到提示中，以提高连续基准运行的准确性。

自学循环：

1. 运行基准测试→ 分析仪识别精度低于70%的判断
2. 生成有针对性的修改（例如，“判断ERR：不要用框架错误中间件标记干净的Express代码”）
3. 下一次基准运行负载修正→ 精度提高
4. 跑 judges codify-amendments 将修正案永久性地烘烤到分发的包中

湍流分析

该引擎执行程序间污染跟踪，以跟踪来自用户控制源的数据（例如。， req.body, process.env)通过向安全敏感接收器的转换（例如。， eval(), exec()，SQL查询）。Taint流用于增强对真阳性结果的信心，并在检测到消毒的情况下抑制假阳性。

阳性信号检测

展示良好实践的代码将获得分数奖励（上限为+15）：

框架感知规则

评判标准包括Express、Django、Flask、FastAPI、Spring、ASP的框架特定检测。NET、Rails等。框架中间件（例如。， helmet(), express-rate-limit, passport.authenticate())被认为是减少误报的缓解措施。

跨文件导入解决方案

在项目级分析中，导入是跨文件解析的。如果一个文件从项目中的另一个文件导入安全中间件模块，则关于缺少安全控制的发现会自动调整，但可信度会降低。

______________________________________________________________________

评分

每位评委对以下代码进行评分 0到100:

判决逻辑：

• 失败 --任何关键发现或得分\

│ ├── daily-popular-repo-autofix.ts # Run: npm run automation:daily-popular │ └── debug-fp.ts # Debug false-positive findings ├── examples/ │ ├── sample-vulnerable-api.ts # Intentionally flawed code (triggers all judges) │ ├── demo.ts # Run: npm run demo │ └── quickstart.ts # Quick-start evaluation example ├── tests/ │ ├── judges.test.ts # Core judge evaluation tests │ ├── negative.test.ts # Negative / FP-avoidance tests │ ├── subsystems.test.ts # Subsystem integration tests │ ├── extension-logic.test.ts # VS Code extension logic tests │ └── tool-routing.test.ts # MCP tool routing tests ├── grammars/ # Tree-sitter WASM grammar files │ ├── tree-sitter-typescript.wasm │ ├── tree-sitter-cpp.wasm │ ├── tree-sitter-python.wasm │ ├── tree-sitter-go.wasm │ ├── tree-sitter-rust.wasm │ ├── tree-sitter-java.wasm │ └── tree-sitter-c_sharp.wasm ├── judgesrc.schema.json # JSON Schema for .judgesrc config files ├── server.json # MCP Registry manifest ├── package.json ├── tsconfig.json └── README.md

______________________________________________________________________

## 脚本

|命令|描述|
|---------|-------------|
| `npm run build` |将TypeScript编译为 `dist/` |
| `npm run dev` |监视模式--保存时重新编译|
| `npm test` |运行完整的测试套件|
| `npm run demo` |运行示例法庭演示|
| `npm run report:public-repo -- --repoUrl ` |为公共存储库URL生成完整的仲裁庭报告|
| `npm run report:quickstart -- --repoUrl ` |运行固执己见的高信号报告默认值，以快速采用|
| `npm run automation:daily-popular` |每天分析多达10个轮换热门回购，每个回购最多打开5个补救PR|
| `npm start` |启动MCP服务器|
| `npm run clean` |删除 `dist/` |
| `judges init` |交互式项目设置向导|
| `judges fix ` |预览自动修复补丁（添加 `--apply` 写作）|
| `judges watch ` |监视模式——文件保存时重新评估|
| `judges report ` |关于当地目录的完整法庭报告|
| `judges hook install` |安装Git预提交钩子|
| `judges diff` |从统一差异评估更改的线路|
| `judges deps` |分析供应链风险的依赖关系|
| `judges baseline create` |创建用于查找抑制的基线|
| `judges ci-templates` |生成CI管道模板|
| `judges docs` |生成每位法官的规则文档|
| `judges completions ` |Shell完成脚本|
| `judges feedback submit` |将发现标记为真阳性、假阳性或无法修复|
| `judges feedback stats` |显示假阳性率统计数据|
| `judges benchmark run` |运行检测精度基准套件|
| `judges rule create` |交互式自定义规则创建向导|
| `judges rule list` |列出自定义评估规则|
| `judges pack list` |列出可用的语言包|
| `judges config export` |将配置导出为可共享包|
| `judges config import ` |导入共享配置|
| `judges compare` |将法官与其他代码审查工具进行比较|
| `judges list` |列出所有45位带有域名和描述的评委|
| `judges list --frameworks` |列出支持的监管框架和 `.judgesrc` 用法|
| `judges codify-amendments` |将自学修正案写入裁判源文件|

______________________________________________________________________

## 每日热门回购自动化

此仓库包括一个预定的工作流 `.github/workflows/daily-popular-repo-autofix.yml` 即：

- 每天从100多个流行存储库（或手动提供的目标）的默认池中选择多达10个存储库，
- 在支持的源语言中运行完整的Judges评估，
- 仅应用减少匹配查找计数的保守的单行补救措施，
- 每个存储库最多打开5个PR，并将其归因于Judges和目标存储库，
- 跳过存储库，除非它们是公共的，并且可以使用现有的GitHub身份验证创建PR（没有额外的身份验证流）。
- 强制执行10个存储库/天和5个PR/存储库的硬运行时上限。

每次运行都会写入 `daily-autofix-summary.json` （或 `SUMMARY_PATH`)使用每个存储库的遥测技术，包括：

- `runAggregate` --紧凑的运行级别总计和跨回购最高优先级规则，
- `runAggregate.totalCandidatesDiscovered` 和 `runAggregate.totalCandidatesAfterLocationDedupe` --指示在尝试修复之前去除了多少重叠，
- `runAggregate.totalCandidatesAfterPriorityThreshold` --在应用最小优先级分数后留下的候选人，
- `runAggregate.dedupeReductionPercent` --从位置重复数据消除中减少百分比，以实现快速运行时效率跟踪，
- `runAggregate.priorityThresholdReductionPercent` --重复数据消除后最低优先级过滤的减少百分比，
- `priorityRulePrefixesUsed` --在优先级排序过程中使用的危险规则前缀，
- `minPriorityScoreUsed` --最小值 `candidatePriorityScore` 申请候选人入选，
- `candidatesDiscovered`, `candidatesAfterLocationDedupe`，以及 `candidatesAfterPriorityThreshold` --在每个过滤阶段之后，每个回购候选计数，
- `topPrioritizedRuleCounts` --排名候选人中最常见的规则ID，
- `topPrioritizedCandidates` --排名靠前的候选样本（规则、严重性、置信度、文件、行、优先级得分）。

可选运行时控制：

- `AUTOFIX_MIN_PRIORITY_SCORE` --重复数据消除后所需的最低候选优先级分数（默认值： `0`，残疾）。

所需机密：

- `JUDGES_AUTOFIX_GH_TOKEN` --GitHub令牌，具有为目标存储库分叉/推送/创建PR的权限。

手动运行：

gh workflow run "Judges Daily Full-Run Autofix PRs" -f targetRepoUrl=https://github.com/owner/repo

______________________________________________________________________

## 程序化API

法官可以作为一个库使用（而不仅仅是通过MCP）。导入自 `@kevinrabun/judges/api`:

import { evaluateCode, evaluateProject, evaluateCodeSingleJudge, getJudge, JUDGES, findingsToSarif, } from "@kevinrabun/judges/api";

// Full tribunal evaluation const verdict = evaluateCode("const x = eval(input);", "typescript"); console.log(verdict.overallScore, verdict.overallVerdict);

// Single judge const result = evaluateCodeSingleJudge("cybersecurity", code, "typescript");

// SARIF output for CI integration const sarif = findingsToSarif(verdict.evaluations.flatMap(e => e.findings));

### 包装出口

|入口点|描述|
|---|---|
| `@kevinrabun/judges/api` |程序化API（默认）|
| `@kevinrabun/judges/server` |MCP服务器入口点|
| `@kevinrabun/judges/sarif` |SARIF 2.1.0格式化程序|
| `@kevinrabun/judges/junit` |JUnit XML格式化程序|
| `@kevinrabun/judges/codeclimate` |CodeClimate/GitLab代码质量JSON|
| `@kevinrabun/judges/badge` |SVG和文本徽章生成器|
| `@kevinrabun/judges/diagnostics` |诊断格式化程序|
| `@kevinrabun/judges/plugins` |插件系统API（请参阅 [插件指南](docs/plugin-guide.md)) |
| `@kevinrabun/judges/fingerprint` |查找指纹实用程序|
| `@kevinrabun/judges/comparison` |工具比较基准|

### SARIF输出

将调查结果转换为 [沙林2.1.0](https://docs.oasis-open.org/sarif/sarif/v2.1.0/sarif-v2.1.0.html) 对于GitHub代码扫描、Azure DevOps和其他CI/CD工具：

import { findingsToSarif, evaluationToSarif, verdictToSarif } from "@kevinrabun/judges/sarif";

const sarif = verdictToSarif(verdict, "src/app.ts"); fs.writeFileSync("results.sarif", JSON.stringify(sarif, null, 2));

______________________________________________________________________

## 自定义错误类型

所有抛出的错误都会扩展 `JudgesError` 使用机器可读 `code` 财产：

|错误类别|代码|何时|
|---|---|---|
| `ConfigError` | `JUDGES_CONFIG_INVALID` |畸形 `.judgesrc` 或内联配置无效|
| `EvaluationError` | `JUDGES_EVALUATION_FAILED` |未知法官，分析仪崩溃|
| `ParseError` | `JUDGES_PARSE_FAILED` |无法解析的源代码或输入数据|

import { ConfigError, EvaluationError } from "@kevinrabun/judges/api"; try { evaluateCode(code, "typescript"); } catch (e) { if (e instanceof ConfigError) console.error("Config issue:", e.code); }

______________________________________________________________________

## 许可证

麻省理工学院