E2B MCP HACK

视频QA

Streamlit应用程序在E2B沙箱中处理视频，使用Groq的视觉/语言模型分析帧，并使用MCP向Notion读取/写入数据，所有这些都在E2B环境中运行。

为什么使用这个？

• 与您的视频数据保持联系 -基于语义搜索检索相关帧，无需重新观看整个视频
• 隐私第一的方法 -无需将私人数据上传到外部服务；所有处理都通过E2B沙盒中的安全API调用进行
• 智能帧检索 -查找特定时刻，检测重复帧，并自然查询您的视频内容
• 持久知识库 -视频分析存储在Notion中，使其可搜索和可重用

未来改进

• 音频模式 -在创建嵌入时将语音合并到文本中，以获得更丰富的上下文
• 视频推荐系统 -根据内容相似性推荐相关视频
• 语义剪辑搜索 -在图像和视频目录中搜索
• 视频质量保证和互动理解 -增强的视频内容对话界面
• 视频机器学习训练的数据清理 -识别并删除重复帧、低质量片段
• 矢量数据库集成 -存储嵌入以实现更快的相似性搜索和检索

建筑

┌─────────────────────────────────────────────────────────┐
│                      E2B Sandbox                        │
│  ┌─────────────┐    ┌─────────────┐    ┌─────────────┐  │
│  │   OpenCV    │───▶│    Groq     │───▶│  MCP Client │  │
│  │   (Frames)  │    │  (VLM/LLM)  │    │  (Notion)   │  │
│  └─────────────┘    └─────────────┘    └─────────────┘  │
└─────────────────────────────────────────────────────────┘
              ▲                                  │
              │                                  ▼
        ┌───────────┐                    ┌─────────────┐
        │ Streamlit │                    │   Notion    │
        │    App    │                    │  (Storage)  │
        └───────────┘                    └─────────────┘

视觉概述

系统流程图

演示视频

观看演示

运作原理

一切都在E2B内部运行

1. E2B沙箱 -安全的云环境：

- 接收视频文件 - 运行OpenCV进行帧提取 - 调用Groq API进行人工智能分析 - 通过MCP连接到Notion

1. Groq（E2B内部） -AI处理：

- VLM（视觉）: llama-4-scout-17b 分析帧三元组（之前/当前/之后） - 法学硕士（文本）: llama-3.1-8b-instant 为聊天界面供电

1. MCP连接（E2B内部） -概念整合：

- E2B提供MCP URL和令牌 - MCP客户端从沙箱中连接到Notion - 写：Notion页面的带时间戳的帧描述 - 阅读：获取聊天查询的存储分析

处理流程

Video Upload → E2B Sandbox Created
                    ↓
            Frame Extraction (OpenCV)
                    ↓
            Frame Analysis (Groq VLM) ← runs inside E2B
                    ↓
            Save to Notion (MCP) ← runs inside E2B
                    ↓
               Sandbox Killed

聊天流程

User Question → E2B Sandbox Created
                      ↓
              Read from Notion (MCP) ← runs inside E2B
                      ↓
              Generate Answer (Groq LLM) ← runs locally
                      ↓
                 Sandbox Killed

特性

• 表1-过程视频：上传文件或YouTube网址，分析帧，保存到Notion
• 选项卡2-聊天：使用时间戳引用查询您的视频知识

先决条件和API设置

1.E2B API密钥

E2B为代码执行提供了安全的云沙盒。

• 注册地址： e2b.dev
• 转到仪表板→ API密钥
• 生成并复制API密钥

2.Groq API密钥

Groq为LLaMA模型提供了快速推理。

• 注册地址： console.groq.com
• 导航到API密钥部分
• 创建新的API密钥

3.概念集成设置

Notion需要集成以允许API访问。

步骤1：创建集成

• 首选 notion.so/my集成
• 点击“新建集成”
• 为其命名（例如，“视频分析器”）
• 选择您的工作区
• 复制“内部集成令牌”

步骤2：将集成连接到页面

• 打开要保存视频分析的Notion页面
• 点击 ••• 菜单（右上角）
• 选择“添加连接”
• 查找并添加您的集成

步骤3：获取页面ID

• 在Notion中打开页面
• 复制URL： https://notion.so/Your-Page-Title-abc123def456
• 页面ID是末尾的32个字符的字符串（不带连字符）： abc123def456...

安装

pip install streamlit python-dotenv e2b yt-dlp mcp groq pillow

创建 .env:

E2B_API_KEY=your_e2b_key
GROQ_API_KEY=your_groq_key
NOTION_INTEGRATION_TOKEN=your_notion_token
NOTION_PAGE_ID=your_page_id

跑

streamlit run main.py

技术栈

______________________________________________________________________

内置E2B•Notion MCP•Groq•Streamlit