Deepseek Ocr2 Lazy

DeepSeek-OCR-2懒惰服务器

在本地运行DeepSeek视觉模型的有效方法。 *按需装载。闲置时卸载。保存VRAM。*

______________________________________________________________________

⚡ 为什么使用这个？

在VRAM中永久运行DeepSeek-OCR-2等大型视觉语言模型（VLM）是昂贵的。这 一级延迟加载服务器:

1. 立即开始：进程以毫秒为单位启动（启动时没有模型加载）。
2. 按需加载：重型7GB+型号仅在您实际发送请求时加载。
3. 自动卸载：沉默15分钟后（可配置），它会从GPU内存中擦除模型，将VRAM返回给操作系统、游戏或其他AI模型。
4. MCP兼容：即插即用 克劳德桌面 以及其他MCP试剂。

🚀 安装

选项A：康达（建议当地使用）

# 1. Create Environment
conda create -n deepseek-ocr2 python=3.11 -y
conda activate deepseek-ocr2

# 2. Install PyTorch (CUDA 12.1 example)
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 3. Install Unsloth (Optimized Inference)
pip install --upgrade pip
pip install "unsloth[cu121-torch230] @ git+https://github.com/unslothai/unsloth.git"

# 4. Install Dependencies
pip install -r requirements.txt

选项B:Docker

# Build
docker build -t deepseek-ocr2-lazy .

# Run (passing GPU)
docker run --gpus all -d \
  -p 8012:8012 \
  -v $(pwd)/models:/data/models \
  -v $(pwd)/output:/data/output \
  --name deepseek-ocr \
  deepseek-ocr2-lazy

______________________________________________________________________

🛠 用法

1.启动服务器

python deepseek_ocr2_lazy_server.py

*默认端口为8012。*

2.OCR图像（cURL）

# Extract Markdown (Standard)
curl -X POST "http://localhost:8012/v1/ocr" \
  -F "file=@/path/to/document.png" \
  -F "mode=markdown"

# Raw Text Mode
curl -X POST "http://localhost:8012/v1/ocr" \
  -F "file=@/path/to/receipt.jpg" \
  -F "mode=free"

______________________________________________________________________

🤖 MCP服务器（克劳德桌面集成）

直接在内部使用DeepSeek-OCR-2 克劳德桌面 从本地文件系统读取文档。

添加到您的 claude_desktop_config.json:

{
  "mcpServers": {
    "deepseek-ocr": {
      "command": "/path/to/conda/envs/deepseek-ocr2/bin/python",
      "args": ["/absolute/path/to/deepseek-ocr2-lazy/deepseek_ocr2_mcp.py"],
      "env": {
        "DS_OCR2_URL": "http://127.0.0.1:8012"
      }
    }
  }
}

可用工具：

• ocr_image(image_path, mode="markdown")：从图像文件读取文本/表格。

______________________________________________________________________

⚙️ 配置

设置这些环境变量以调整行为：

______________________________________________________________________

📜 学分

• 模型: DeepSeek-OCR-2
• 推断: 解锁 AI