视觉环境MCP👁️
停止截图。问吧。
让Claude实时查看您的屏幕。不再需要“让我截图并粘贴……”只要问“我的屏幕上有什么？”克劳德就会看到。
⚠️ 实验性：这是一个使用录像的实验项目。可能有粗糙的边缘，需要在您的系统上安装FFmpeg。
快速开始
添加到Claude桌面配置(~/Library/Application Support/Claude/claude_desktop_config.json):
{
"mcpServers": {
"vision-context": {
"command": "npx",
"args": ["-y", "vision-context-mcp"]
}
}
}重新启动克劳德桌面。完成。
如何使用
自然地问：
- “我的屏幕上有什么？” -查看当前可见的内容
- “这个错误说明了什么？” -读取错误消息
- “显示最后30秒” -回顾刚才发生的事情
- “我现在要复制这个bug” -记录特定序列
自动检测开发工具（模拟器、Godot、Unity、DevTools）。
真实案例
🎮 游戏开发者
"The jump animation looks off in Godot"
"Show me the last 10 seconds when the particle glitch happened"
"I'm gonna trigger the collision bug now"📱 应用程序开发
"Check the iOS Simulator, the button is misaligned"
"What happened when the app crashed?"
"Recording the signup flow bug"🐛 调试
"This terminal error doesn't make sense, what is it?"
"The DevTools console shows something weird"
"Help me understand this stack trace"🎨 设计
"Does this match the Figma design?"
"The hover state looks wrong, can you see it?"
"Show me the last few frames of this animation"🔬 测试
"Monitor the test runner for failures"
"What happened during the failed test?"
"Recording this edge case for the bug report"配置（可选）
自定义窗口优先级
{
"mcpServers": {
"vision-context": {
"command": "npx",
"args": ["-y", "vision-context-mcp"],
"env": {
"VISION_CONTEXT_WINDOW_PRIORITIES": "vscode,terminal,chrome,figma"
}
}
}
}通用设置
"env": {
"VISION_CONTEXT_TARGET_WINDOW": "Simulator", // Always monitor this window
"VISION_CONTEXT_BUFFER_DURATION": "120", // Keep last 2 minutes (default: 60s)
"VISION_CONTEXT_AUTO_FOCUS_WINDOW": "true", // Auto-focus window before capture (default: false)
"VISION_CONTEXT_FRAME_MAX_WIDTH": "1280", // Max frame width for LLM (default: 1280)
"VISION_CONTEXT_FRAME_QUALITY": "85" // JPEG quality 1-100 (default: 85)
}按用例预设
Web开发人员：
"VISION_CONTEXT_WINDOW_PRIORITIES": "chrome,firefox,safari,vscode"游戏开发者：
"VISION_CONTEXT_WINDOW_PRIORITIES": "godot,unity,unreal,blender"移动开发者：
"VISION_CONTEXT_TARGET_WINDOW": "Simulator"运作原理
Your Screen → Video Recording → Frame Extraction → Optimization → Claude Desktop
↳ 100% local, no cloud calls基于视频的方法：
- 黑匣子模式：总是记录最后60秒（就像汽车行车记录仪）
- 原始质量：以源质量存储的视频
- 智能处理：仅在需要时提取和压缩
- 令牌优化：消除帧重复，调整质量以提高LLM效率
主要特点：
- 通过FFmpeg实现跨平台（Windows、macOS、Linux）
- 自动检测开发工具（模拟器、Godot、Unity等）
- 背景窗口可选自动对焦
- 本地AI分析（隐私优先）
先决条件
需要FFmpeg：此工具使用FFmpeg进行视频录制。先安装：
# macOS
brew install ffmpeg
# Ubuntu/Debian
sudo apt install ffmpeg
# Windows
# Download from https://ffmpeg.org/download.html发展
git clone https://github.com/yourusername/vision-context-mcp.git
cd vision-context-mcp
bun install
bun run build已知问题
- 需要安装FFmpeg并在PATH中
- 在高DPI显示器上录制视频可能会占用大量资源
- 首次下载AI模型可能需要几分钟
- 某些窗口在隐藏/最小化时可能无法捕获
许可证
麻省理工学院
______________________________________________________________________
没有更多的截图地狱。问问你的屏幕上有什么。