Visual Reasoning

视觉推理MCP服务器

动机

语言模型从根本上对文本进行操作，这限制了它们推理人类通常使用空间、图形或视觉思维解决的问题的能力。目前的型号在以下方面存在困难：

1. 维护和操纵复杂的空间关系
2. 可视化多步骤转换或流程
3. 创建和更新抽象概念的视觉表示
4. 关于具有许多互连组件的系统的推理
5. 识别在视觉形式上明显但在文本中模糊的模式

Visual Reasoning Server为模型提供了创建、操纵和推理显式视觉表示的能力。通过将视觉思维外化，模型可以解决受益于图形推理的复杂问题，就像数学符号如何将人类的计算能力扩展到纯文本之外一样。

技术规范

工具接口

interface VisualElement {
  id: string;
  type: "node" | "edge" | "container" | "annotation";
  label?: string;
  properties: {
    [key: string]: any; // Position, size, color, etc.
  };
  // For edges
  source?: string; // ID of source element
  target?: string; // ID of target element
  // For containers
  contains?: string[]; // IDs of contained elements
}

interface VisualOperationData {
  // Operation details
  operation: "create" | "update" | "delete" | "transform" | "observe";
  elements?: VisualElement[];
  transformationType?: "rotate" | "move" | "resize" | "recolor" | "regroup";
  
  // Visual diagram metadata
  diagramId: string;
  diagramType: "graph" | "flowchart" | "stateDiagram" | "conceptMap" | "treeDiagram" | "custom";
  iteration: number;
  
  // Reasoning about the diagram
  observation?: string;
  insight?: string;
  hypothesis?: string;
  
  // Next steps
  nextOperationNeeded: boolean;
}

工艺流程

sequenceDiagram
    participant Model
    participant VisServer as Visual Reasoning Server
    participant State as Visual State
    
    Model->>VisServer: Create initial nodes (operation=create)
    VisServer->>State: Initialize visual representation
    VisServer-->>Model: Return visual rendering + state
    
    Model->>VisServer: Add connections (operation=create, type=edge)
    VisServer->>State: Update with new edges
    VisServer-->>Model: Return updated visual + state
    
    Model->>VisServer: Group related elements (operation=transform, type=regroup)
    VisServer->>State: Update with new grouping
    VisServer-->>Model: Return updated visual + state
    
    Model->>VisServer: Make observation about pattern (operation=observe)
    VisServer->>State: Record observation with current state
    VisServer-->>Model: Return visual with observation
    
    Model->>VisServer: Update based on insight (operation=update)
    VisServer->>State: Modify visual elements
    VisServer-->>Model: Return final visual + state

主要特点

1.多模态表示系统

服务器支持不同的视觉表示类型：

• 图表：用于关系网络和连接模式
• 流程图：用于流程和顺序操作
• 状态图：用于系统状态和转换
• 概念图：用于知识组织和关系
• 树形图：用于层次结构

2.抽象视觉元素操作

模型可以通过操作来操纵视觉元素：

• 创建：为视觉空间添加新元素
• 更新：修改现有图元
• 删除：删除元素
• 变换：将操作应用于多个元素（重新分组、重组）
• 观察：对视觉模式进行观察并记录

3.迭代细化

服务器跟踪迭代历史，允许模型：

• 看看他们的视觉表现是如何演变的
• 必要时恢复到以前的状态
• 比较不同的可视化方法

4.视觉语言整合

服务器支持以下内容之间的双向转换：

• 口头描述和视觉表现
• 视觉模式和言语洞察力
• 图解推理和文本结论

5.视觉输出

服务器提供多种表示方式：

• 基于终端的可视化ASCII艺术
• SVG或DOT格式，用于更复杂的图表
• 可访问性视觉状态的文本描述

使用示例

系统架构设计

模型可以创建和操纵组件图，显示系统组件之间的数据流、依赖关系和交互。

算法可视化

在设计或解释算法时，模型可以创建流程图、状态图或执行的视觉痕迹。

概念图

为了组织复杂的知识领域，模型可以创建和细化概念图，显示想法之间的关系。

模式识别

在分析数据时，模型可以创建视觉表示来识别文本中可能难以检测到的模式。

实施

服务器使用TypeScript实现：

• 核心VisualReasongServer类
• 一种灵活的视觉元素表示系统
• 多个渲染后端（ASCII、SVG、DOT）
• 迭代精化的状态历史跟踪
• 通过stdin/stdout连接标准MCP服务器

该实现利用现有的图形可视化库（如用于DOT输出或自定义ASCII艺术生成的Graphviz）在基于文本的界面约束下提供丰富的视觉反馈。

该服务器显著增强了视觉或空间思维相较于纯文本推理具有天然优势的领域的模型能力。

工具

视觉推理

通过创建和操纵图表元素来促进视觉思维。

配置

使用Claude Desktop

将此添加到您的 claude_desktop_config.json:

新巴拿马型船舶

{
  "mcpServers": {
    "visual-reasoning": {
      "command": "npx",
      "args": [
        "-y",
        "@waldzellai/visual-reasoning"
      ]
    }
  }
}

码头工人

{
  "mcpServers": {
    "visual-reasoning": {
      "command": "docker",
      "args": [
        "run",
        "--rm",
        "-i",
        "cognitive-enhancement-mcp/visual-reasoning"
      ]
    }
  }
}

建筑

Docker：

docker build -t cognitive-enhancement-mcp/visual-reasoning -f packages/visual-reasoning/Dockerfile .

许可证

此MCP服务器根据MIT许可证获得许可。