Token导航 LogoToken导航

Agent Skill · 效率

llm-regression-monitor（LLM regression monitor 效率）

llm-regression-monitor 用于补充效率相关能力，适合在 OpenClaw 中需要让 Agent 承接效率相关任务时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。

llm-regression-monitor 是效率类 Agent Skill，可用宿主为 OpenClaw，通过ClawHub获取，权限为接触敏感数据；许可证为 MIT-0，第三方扫描已通过，按安装量在效率类的 21,003 个 Skill 里排第 14,084。

总安装 3,494周安装 140GitHub Stars 公开资料未说明下载 1,131核验 2026-05-01
效率接触敏感数据ClawHub未标认证来源可访问许可证明确审计通过OpenClaw

安装说明

本站只整理中文说明，不托管安装包，也不代用户安装。
GitHub
许可证
MIT-0
版本
1.0.2

安装方式

通过对话安装

复制提示词发给支持本地命令或 Skills 的 AI 助手，先确认命令和权限，再让它执行。

请帮我安装这个 Agent Skill：llm-regression-monitor（LLM regression monitor 效率）
来源仓库：https://github.com/swanand33/llm-regression-monitor
安装命令：
openclaw skills install llm-regression-monitor
安装前请先检查当前环境是否支持对应 CLI，并向我确认将要执行的命令、安装目录、联网范围和文件读写权限；确认后再执行。

命令行安装

复制命令到本机终端执行。该命令会通过 OpenClaw 从第三方来源获取 Skill；本站只展示命令，不托管安装包，也不自动执行。

ClawHubOpenClaw
openclaw skills install llm-regression-monitor

这个 Skill 是做什么的

效率类 Skill 把重复的整理、汇总、转换工作交给助手完成，减少手工复制粘贴。

持续监控 LLM 输出行为变化并及时告警的回归检测系统。设定基线响应模板，自动识别偏离预期的新模式出现。支持自定义敏感词与语义漂移阈值配置。llm-regression-monitor 属于效率类 Skill，可作为该场景下的辅助能力补充。告警可通过邮件、Webhook 等多种渠道推送。

适用于生产环境模型稳定性保障，预防隐性退化风险。

上手步骤

4 步
  1. 1

    确认自己的宿主工具

    公开资料标注支持 OpenClaw；先确认自己用的是其中之一，再按对应工具的 Skills 目录放置。

  2. 2

    拿到安装命令

    可以直接复制的命令是 openclaw skills install llm-regression-monitor；命令里的占位符换成自己的路径或密钥再执行。

  3. 3

    安装后重启宿主

    命令执行完要完全退出宿主工具再打开，让新装的 Skill 被重新扫描到，否则列表里可能看不到。

  4. 4

    按最小权限试用

    它需要接触敏感数据，先在测试目录或测试账号里跑，确认没问题再放到正式项目。

常见问题

6 条

llm-regression-monitor 怎么安装？

在终端执行 openclaw skills install llm-regression-monitor。装完完全退出宿主工具再打开，让它重新扫描本地 Skill。

llm-regression-monitor 支持哪些 AI 工具？

公开资料标注支持 OpenClaw。其他工具只要能读取本地 Skill 目录，一般也能手动放进去，但要自己确认触发方式是否一致。

llm-regression-monitor 需要什么权限？

权限级别是接触敏感数据。该 Skill 可能接触密钥、Token、环境变量或敏感配置，应进入高风险复核队列，默认不自动发布。

llm-regression-monitor 是免费的吗？

来源标注的许可证是 MIT-0。本站不代收任何费用，也不托管安装包；能否商用、要不要署名，以许可证原文为准。

llm-regression-monitor 用的人多吗？

公开数据是累计安装 3,494 次，近一周安装 140 次，下载 1,131 次。这些数字来自第三方目录统计，只能当作热度参考，不代表质量或安全性。

llm-regression-monitor 安全吗？

第三方扫描结果为通过，但这只覆盖已知的静态检查项，不能替代自己读一遍源码和安装命令。

值得选的地方和要先想清楚的地方

值得选的地方

  • 专注 OpenClaw 一种宿主，触发方式和使用习惯不用来回切换。
  • 许可证明确为 MIT-0，商用和分发边界好判断。
  • 第三方扫描已通过，常见的高风险行为没有命中。

先想清楚的地方

  • 需要接触敏感数据，装到常用环境前要先评估影响面。
  • 第三方目录整理，版本更新和行为细节以来源仓库为准。

适不适合你

更适合

  • 已经在用 OpenClaw，想直接扩展它能力的人。
  • 需要处理效率类任务、又不想每次都手写提示词的人。
  • 需要许可证清楚、并且有第三方扫描结果的团队项目。

不太适合

  • 环境里有大量密钥、凭证，不方便给第三方 Skill 读取的人。
  • 需要厂商级技术支持和 SLA 的生产系统。

效率类 Skill 对比

6 个同类
Skill总安装GitHub 星权限许可证扫描
github

GitHub 代码协作 · OpenClaw

7,632,918545需要联网MIT-0通过
nano-pdf

Nano PDF 文档 · OpenClaw

4,249,476231需要联网MIT-0通过
auto-updater

自动更新程序 · OpenClaw

2,964,063386操作浏览器MIT-0通过
video-frames

视频帧 · OpenClaw

2,621,304112需要联网MIT-0通过
gemini

Gemini 助手 · OpenClaw

2,547,39648需要联网MIT-0有提醒
llm-regression-monitor

LLM regression monitor 效率 · 本页

3,494—接触敏感数据MIT-0通过

按安装量取同分类前几名；数字来自第三方目录统计，只作热度参考，不代表质量结论。

SKILL.md 原文

name
llm-regression-monitor
description
Use this skill when the user wants to monitor LLM behavior over time and get alerted when outputs change unexpectedly. Triggers on requests like "set up LLM regression monitoring", "alert me when my prompts start behaving differently", "watch my LLM for regressions", "run behavioral tests on my AI outputs on a schedule", or "detect when my model starts drifting". Handles first-time setup, baseline capture, scheduled monitoring, and alert configuration.
metadata

LLM Regression Monitor

Overview

Automated behavioral regression monitoring for LLM apps. Captures baseline outputs, detects drift on a schedule, and fires WhatsApp or Slack alerts the moment something regresses.

Workflow Decision Tree

User request
├── "set up monitoring" / first time    → Full Setup (steps 1–5)
├── "run the monitor now"               → Step 4 only
├── "I changed my prompt/model"         → Step 3b (update baseline)
└── "configure alerts"                  → Step 5

Step 1 — Install

pip install llm-behave[semantic] pyyaml requests

Step 2 — Create test_suite.yaml

Create in the project root. Minimal example:

tests:
  - name: support_response
    prompt: "A customer says they never received their order. How do you respond?"
    provider: openai        # openai | anthropic | ollama | custom
    model: gpt-4o-mini
    assertions:
      - type: tone
        expected: "empathetic"
    drift:
      enabled: true
      threshold: 0.80

Set the API key for the chosen provider:

export OPENAI_API_KEY=sk-...
export ANTHROPIC_API_KEY=sk-ant-...   # if using anthropic
# ollama needs no key

Read references/test-suite-format.md for the full field spec. Read references/providers.md for env vars and Ollama setup.

Step 3 — Capture Baselines

python scripts/capture_baseline.py

Saves ground-truth outputs to .llm_behave_baselines/. Run once before monitoring begins.

3b — Update after intentional prompt/model change

# Reset one test
python scripts/capture_baseline.py --update-baseline <test-name>

# Reset all
python scripts/capture_baseline.py --force

Step 4 — Run the Monitor

python scripts/run_monitor.py

Writes monitor_report.json. Exits 0 on all-pass, 1 on any failure (CI-compatible).

Step 5 — Configure Alerts

# WhatsApp (requires wacli installed and logged in)
export ALERT_WHATSAPP_TO="+1234567890"

# Slack
export ALERT_SLACK_WEBHOOK="https://hooks.slack.com/services/..."

Add to .env in project root — scripts load it automatically. Send via:

python scripts/send_alert.py

Silent on green runs. Logs every alert to monitor_alerts.log regardless.

Step 6 — Schedule with OpenClaw Cron

Confirm the schedule with the user (default: 9am daily), then add:

  • Schedule: 0 9 * * *
  • Command: python run_monitor.py && true || python send_alert.py
  • Directory: project root (where test_suite.yaml lives)

The || send_alert.py fires only when run_monitor.py exits 1 (failures found).

Common Errors

ErrorFix
llm-behave is not installedpip install llm-behave[semantic]
OPENAI_API_KEY is not setExport key or add to .env
No baseline foundRun step 3 first
test_suite.yaml not foundCreate it in project root
LLM call errors in reportAPI issue — not a regression

平台分布

OpenClaw

87.34%
按下载量换算988

安全审计

VirusTotal

通过

ClawScan

通过

Static analysis

通过

权限和风险

接触敏感数据

该 Skill 可能接触密钥、Token、环境变量或敏感配置，应进入高风险复核队列，默认不自动发布。

安装前确认

本站仅展示第三方公开信息，不托管安装包，不提供自动安装或运行环境。安装前应自行审查源码、依赖和命令行为。目前只有一个公开来源，建议同时核对源仓库。

继续浏览同类 Skills

更多效率 Skills（21,003）返回 Skills 目录

上一个 Skill

llm-proxy（LLM proxy 安全）

394286006/llm-proxy

llm-proxy 用于补充效率相关能力，适合在 OpenClaw 中需要让 Agent 承接效率相关任务时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。

下一个 Skill

llm-signal-geo-analyst（LLM signal GEO analyst 效率）

immythz/llm-signal-geo-analyst

llm-signal-geo-analyst 用于补充效率相关能力，适合在 OpenClaw 中需要让 Agent 承接效率相关任务时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。