- name
- ai-video-pro
- description
- 电影级镜头语言解码器。零依赖可用：将创意描述解码为影视级提示词，系统化建模打击感/面部表情渐变/机甲运动五维镜头语言。可选配 API Key 直接生成视频（LumaAI/Runway/Replicate/ComfyUI）。提示词优化本身无需任何外部服务。
- user-invocable
- true
- metadata
- {"openclaw":{"requires":{"env":[],"anyBins":[]},"primaryEnv":"LUMAAI_API_KEY","stage":"beta","version":"0.2.0"}}
用户提供创意描述，输出影视级提示词。可选连接生成后端直接产出视频。
⚠️ BETA — 勿用于生产环境。
运行模式
| 模式 | 依赖 | 输出 |
|---|---|---|
| 提示词模式（默认） | 无 | 影视级优化 prompt，可复制到任意生成工具 |
| 生成模式 | API Key 或本地 GPU | 直接调用后端生成视频文件 |
提示词模式是核心价值所在：无需任何配置，立即可用，输出的 prompt 可直接用于 LumaAI / Runway / ComfyUI 等任意工具。
调用示例
# 基础描述 → 影视级 prompt
帮我把这个描述转成视频 prompt：一个武士在雨中拔刀
# 指定风格和平台
生成一个抖音竖屏的动作场景 prompt，风格写实，要有打击感
# 迭代优化
上一个 prompt 的打击感不够，帮我加强一下
# 生成模式（需配置 API Key）
用 LumaAI 生成这个场景：[场景描述]核心方法论：五维镜头语言解码
用户描述 ──解码──→ [镜头类型 × 运镜 × 灯光 × 色彩 × 时间] ──适配──→ Provider Prompt普通描述和电影级描述的差异在于隐性专业知识的显性化：
| 维度 | 解码内容 | 关键判断点 |
|---|---|---|
| 镜头类型 | ECU/CU/MS/FS/WS/鸟瞰/仰拍/荷兰角 | 情感距离与叙事权力 |
| 运镜方式 | 固定/Pan/Dolly/Tracking/手持/斯坦尼康 | 观众与场景的关系感 |
| 灯光设计 | 轮廓光/伦勃朗/体积光/黄金时刻/霓虹 | 情绪基调与质感 |
| 色彩分级 | 青橙对比/去饱和/胶片模拟/冷暖对比 | 风格化程度 |
| 时间控制 | 慢动作/延时/变速/定格 | 叙事节奏 |
Phase 1: 镜头语言解码（提示词模式，零依赖）
1.1 动作/冲击场景 — 打击感五要素
国内短视频最核心的差异化维度，必须精确建模：
① 重量感 — 攻击者的预备动作幅度、身体质量感
② 力度反馈 — 被击中者的形变程度（衣物/头发/身体弯曲）
③ 冲击特效 — 火花/碎片/冲击波的密度和扩散方向
④ 时间节奏 — 预备→接触→反应的帧率变化（慢进快出 / 快进慢出）
⑤ 画面反应 — 镜头抖动幅度、运动模糊方向、色差效果未指定时询问：打击力度（轻触/重击/影视夸张）、特效风格（写实/漫画/机甲）。
1.2 角色场景 — 面部表情渐变序列
建模表情的时间序列变化，而非静态描述：
示例：[0s] 惊讶（眉上扬、瞳孔扩张）→ [2s] 坚定（下颌收紧、目光聚焦）→ [5s] 胜利（嘴角微扬）未指定时询问：镜头起止的表情分别是什么、是否有眼神交流。
1.3 机甲/硬核运动
额外建模：关节铰接方向、液压延迟感、质量惯性（重型机甲响应慢）、变形序列节点。
1.4 缺失维度补全
解码时主动检查必要参数，如未指定则询问：
- 画面比例（16:9 横屏 / 9:16 抖音竖屏 / 1:1 小红书）
- 目标时长（3s/5s/10s）
- 视觉风格（写实/动漫/3D/水彩）
1.5 Provider 适配输出
根据目标平台重新编码 prompt 风格（或同时输出多平台版本）：
| Provider | Prompt 偏好 |
|---|---|
| LumaAI Dream Machine | 自然语言嵌入镜头指令，"camera slowly pans…" |
| Runway Gen-3/4 | 结构化，镜头/主体/风格分段 |
| Replicate/SVD | 简洁，强调主体动态 |
| ComfyUI 本地 | checkpoint + scheduler + LoRA 标签 |
同时展示原始描述和优化后 prompt，用户确认后再进行下一步。
Phase 2: 视频生成（生成模式，需 API Key 或 GPU）
后端选择（最小代价优先）：
| 优先级 | 后端 | 条件 | 成本 |
|---|---|---|---|
| 1 | ComfyUI 本地 | NVIDIA 8GB+ VRAM | 免费 |
| 2 | Replicate 免费层 | API Token | 免费(有限) |
| 3 | LumaAI 免费层 | API Key | 免费(有限) |
| 4 | LumaAI 付费 | API Key | ~¥3.5/视频 |
| 5 | Runway 付费 | API Key | ~¥7/视频 |
推荐方案和预估成本先展示给用户确认，再调用 API。
python3 scripts/env_detect.py # 检测可用后端
python3 scripts/provider_manager.py --backend <backend> --prompt <prompt_file>
python3 scripts/preview_server.py --file <video_path> --port 8765数据流向：优化后的 prompt 发送至用户选择的生成后端（LumaAI/Runway/Replicate）。原始描述仅在本次会话中处理，不向其他第三方传输。
Phase 3: 迭代优化
保留解码结构，仅调整目标维度：
| 反馈 | 调整方向 |
|---|---|
| 打击感不足 | 增加特效密度、加强时间节奏对比 |
| 镜头感弱 | 升级运镜（手持 → 斯坦尼康 / 固定 → Dolly） |
| 情绪不对 | 调整色彩分级基调 + 表情序列终点 |
| 风格漂移 | 固定 LoRA/风格标签，切换 Provider |
支持图生视频：上传关键帧作为风格锚点，保持角色一致性。
输出格式（提示词模式）
{
"original_description": "用户原始描述",
"decoded_dimensions": {
"shot_type": "CU 近景",
"camera_movement": "手持跟拍",
"lighting": "伦勃朗光 + 轮廓光",
"color_grading": "青橙对比，高饱和",
"temporal": "接触瞬间慢动作 0.3x"
},
"prompts": {
"lumai": "A close-up shot, handheld camera following...",
"runway": "Shot type: CU. Subject: ...",
"universal": "通用版本（可用于任意平台）"
},
"missing_params": ["画面比例未指定，建议确认"]
}边界与合规
本技能做什么： 提示词工程优化、镜头语言建模、生成后端调度。
本技能不做什么：
- 提示词模式不需要、不访问任何外部服务
- 不存储用户提交的创意描述
- 不自动发布到任何平台（发布需要用户显式授权和凭证配置）
凭证（均为可选，仅生成模式需要）：
LUMAAI_API_KEY/RUNWAY_API_KEY/REPLICATE_API_TOKEN/OPENAI_API_KEY- 所有凭证仅通过环境变量读取，不持久化、不记录