SHARP MCP

英语 | 简体中文 | 繁体中文 | 日本语

🎯 SHARP-单目视图合成

](https://hub.docker.com/r/neosun/sharp) ](https://github.com/neosun100/sharp/releases)  

在不到一秒钟的时间内从单个图像生成交互式3D场景。

Demo

✨ 什么是SHARP？

SHARP（SHARP Monocular View Synthesis）是Apple Research的一个AI模型，它将单张2D照片转换为3D高斯Splat表示。这使得：

• 照片转3D：将任何照片转换为交互式3D场景
• 实时渲染：生成的3DGS可以实时渲染
• 超快：GPU上的推理时间不到1秒
• 零样本推广：适用于任何图像，无需微调

用例

⚠️ 备注：SHARP生成小范围视图合成（±15-30°），而不是完整的360°重建。它非常适合视差效果和深度感知渲染。

🚀 快速开始

Docker（推荐）

# Pull and run (All-in-One, ~15GB with model)
docker run -d --gpus all -p 8080:8080 --name sharp neosun/sharp:latest

# Access Web UI
open http://localhost:8080

# API Documentation
open http://localhost:8080/docs

Docker Compose

version: '3.8'
services:
  sharp:
    image: neosun/sharp:latest
    container_name: sharp-service
    ports:
      - "8080:8080"
    environment:
      - GPU_IDLE_TIMEOUT=300
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    restart: unless-stopped

docker-compose up -d

📦 特性

这个Docker镜像提供了三个接口：

🌐 Web用户界面

访问 http://localhost:8080 对于web界面：

• 拖放图像上传
• 实时3D预览（循环视频）
• 下载PLY和MP4文件
• GPU状态监控
• 多语言支持（EN/中文)

📡 REST API

端点

示例：生成3D场景

# Upload image and generate 3D
curl -X POST http://localhost:8080/api/predict \
  -F "file=@photo.jpg" \
  -F "render_video=true"

# Response
{
  "task_id": "abc123",
  "ply_url": "/api/files/abc123.ply",
  "video_url": "/api/files/abc123.mp4"
}

# Download results
curl -O http://localhost:8080/api/files/abc123.ply
curl -O http://localhost:8080/api/files/abc123.mp4

GPU管理

# Check GPU status
curl http://localhost:8080/api/gpu/status
# {"device":"cuda","model_loaded":true,"gpu_memory_allocated_mb":2694}

# Release GPU memory
curl -X POST http://localhost:8080/api/gpu/offload
# {"status":"offloaded"}

🤖 MCP集成

SHARP包括一个用于AI助手集成的MCP（模型上下文协议）服务器。

配置

添加到您的MCP客户端配置中（例如，Claude Desktop）：

{
  "mcpServers": {
    "sharp": {
      "command": "docker",
      "args": ["exec", "-i", "sharp-service", "python", "mcp_server.py"]
    }
  }
}

可用工具

MCP使用示例

User: Generate a 3D scene from /path/to/image.jpg

Assistant: I'll generate a 3D Gaussian Splat from that image.
[Calls predict tool with file_path="/path/to/image.jpg"]
Result: PLY file saved to /tmp/sharp/output/image.ply

⚙️ 配置

环境变量

硬件要求

📁 项目结构

sharp/
├── app.py              # Flask API server
├── gpu_manager.py      # GPU resource management
├── mcp_server.py       # MCP interface
├── templates/          # Web UI templates
├── static/             # Frontend assets
├── src/sharp/          # Core model code
├── Dockerfile          # Container definition
└── docker-compose.yml  # Compose config

🔧 技术栈

• 模型：苹果SHARP（3D高斯散斑）
• 后端：Flask+Gunicorn
• 图形处理器：CUDA 12.4+PyTorch
• 容器：NVIDIA Docker
• 主控程序：FastMCP

📊 演出

📝 更新日志

v1.0.0（2024-12-27）

• 初始版本
• 带视频预览的Web UI
• 带有Swagger文档的REST API
• MCP服务器集成
• 自动GPU内存管理

📄 许可证

此项目使用Apple的示例代码许可证。看 许可证 了解详情。

🙏 致谢

• 苹果研究 -SHARP模型
• 3D高斯散斑 -渲染技术

⭐ 明星历史


📱 关注公众号