multimodal-gen（多式联运基因）

多模态内容生成

当用户需要生成图片或视频时，自动调用 multimodal-agent 进行处理。

触发场景

图片生成

• "生成一张图片"
• "画一张..."
• "AI 作图"
• "文生图"
• "帮我生成图像"
• "用 flux/imagen/dalle 生成"

视频生成

• "生成一个视频"
• "做个视频"
• "文生视频"
• "用 veo/sora/kling 生成视频"

使用方式

自动调用 multimodal-agent

sessions_spawn(
    agentId="multimodal-agent",
    task="生成图片: {用户描述}, 使用 {模型} 模型"
)

可用模型

图片生成

视频生成

执行流程

用户请求 "生成一张猫咪图片"
    │
    ▼
┌─────────────────────────────────────┐
│ 1. 识别为图片生成请求              │
│ 2. 提取描述: "猫咪"                │
│ 3. 选择默认模型: flux-pro-max      │
└─────────────────────────────────────┘
    │
    ▼
┌─────────────────────────────────────┐
│ sessions_spawn(                     │
│   agentId="multimodal-agent",       │
│   task="生成图片: 一只可爱的猫咪,   │
│         使用 flux 模型"             │
│ )                                   │
└─────────────────────────────────────┘
    │
    ▼
multimodal-agent 执行生成并返回结果

示例

生成图片

用户: 帮我生成一张日落海滩的图片

执行:
sessions_spawn(
    agentId="multimodal-agent",
    task="生成图片: 日落时分的海滩，金色阳光洒在海面上，使用 flux 模型"
)

生成视频

用户: 用 sora 生成一个猫咪玩耍的视频

执行:
sessions_spawn(
    agentId="multimodal-agent",
    task="生成视频: 一只可爱的猫咪在草地上玩耍，使用 sora 模型"
)

指定模型

用户: 用 doubao 画一张中国风山水画

执行:
sessions_spawn(
    agentId="multimodal-agent",
    task="生成图片: 中国风山水画，云雾缭绕的山峰，使用 doubao 模型"
)

模型选择建议

注意事项

1. 提示词优化: multimodal-agent 会自动优化用户的描述
2. 模型选择: 如果用户没指定，默认使用 flux (图片) 或 veopro (视频)
3. 异步执行: 视频生成可能需要较长时间，会在后台执行
4. 结果返回: 生成完成后会自动发送结果给用户