Token导航 LogoToken导航

AI 资讯 · 娱乐资本论

Suno上线Visuals音乐视频功能 基于MiniMax开源模型H3

更新 2026-11-22娱乐资本论正文 4295字阅读约 14分钟8 张图片

作者|莉拉

这两天,娱乐资本论身边不少音乐行业从业者,都在讨论Suno的新功能Visuals。

11月17日,美国AI音乐平台Suno上线视觉创作工具Visuals,将图像和视频生成带进音乐创作流程。

有趣的是,这个功能的模型底座来自中国AI大模型公司MiniMax:Suno基于MiniMax开源的视频模型H3,打造了面向音乐场景的H3 Move,并结合自身数据进行后训练和适配。

Visuals一出,海内外创作者的反应相当兴奋。

YouTube上有大量的音乐博主发布测评视频,评论区里的讨论热烈。有用户提到此前用过MiniMax的视频生成模型,所以对生成效果很期待“之后一定会尝试”,也有用户体验后写下“口型同步很棒”“很好地利用了角色参考图。”

图片

年初,娱乐资本论就关注过AI将音乐行业的创作门槛降低之后,创作者们面临的现状:一首歌很好写,但想要出圈却难于登天。短视频似乎成为AI音乐能够传播的最快通道。用AI产出音乐的时候,视觉传播成了创作者们不得不考虑的问题。

从这个角度看,Suno推出Visuals,本质是回应了音乐行业对视觉内容的需求。

过去几年,Suno为更多人打开了音乐创作入口,而MiniMax H3的加入,似乎提供了AI音乐向大众传播的一个新出口。但事实上,H3带给文娱行业的出口远不止一个。

图片

AI音乐需要一套完整的视觉生产力

过去一年,AI歌曲想要在各平台上走红,往往需要一段10w+点赞的短视频帮它打开局面。

例如,最近短视频上走红的各种“宠物合唱团”。画面里是AI生成的小猫小狗对着口型,唱起主人和它们之间的故事。原本发生在主人与宠物之间的生活片段,变成了一支可以传播的音乐MV。

图片

海外创作者也在用AI工具制作完整的音乐MV。

前两天,小娱刷到一位YouTuber发布的叫《Just NPCs (feat. Crissy)》的赛博朋克音乐MV,就是其用MiniMax H3制作的,热评第一条就是观众在玩笑“视频该收费”。足以见得,一支完整的AI音乐MV,已经能够让观众产生接近专业音乐视频的观看体验。

图片

这些都共同指向一个变化:AI音乐的传播越来越依赖具体的视觉记忆点。人物、剧情、场景和音乐情绪结合在一起,歌曲才有机会进入短视频的内容流,获得更长的讨论和传播周期。

对视觉的需求也已经进入音乐综艺的制作环节。

音综导演诗文告诉娱乐资本论,从当下来说,AI音乐可以说是听觉和可视化一体的产物。

她提到,目前国内接触过的AI音综提案,大多数都要考虑到一首歌的视觉呈现,“我们之前做过一个提案,就是用音乐作品+创作mv的形式让选手竞赛。”

AI音乐短视频和音综之外,AI虚拟歌手赛道,也挤满了创作者。在这个赛道,视觉形象甚至直接关系到一个账号能不能持续做下去。

河豚君此前采访过的小旭音乐就是从一家传统音乐公司转型做了AI歌手矩阵,尝试给不同风格的AI音乐匹配不同的歌手形象。举个例子,他们旗下的走民俗、荒诞曲风的AI歌手,就会在视觉上带着浓厚的中式怪诞感。歌曲的情绪和画面里的诡异氛围结合起来,相关内容单条播放量达到千万级。

显然,AI音乐行业的竞争,必然延伸到视觉内容的生产能力。AI音乐想真正走到台前,就需要和可视化内容结合。

这就是Suno推出Visuals的时机所在。

图片

当然,对于AI音乐创作者来说,做完一首歌之后,接下来还要解决一连串具体问题:怎样让同一个角色出现在不同视频里,怎样让人物唱歌时的嘴型跟上音乐,怎样让画面呼应歌词和歌曲情绪。Visuals把这些需求直接放进了音乐创作流程。

Visuals可以让用户选择平台提供的原创角色,也可以上传参考图片,让生成视频沿用指定的人物形象;视频能够呼应歌曲结构和歌词,并支持演唱口型同步。

对用户来说,参考图片有助于维持歌曲视觉IP形象的一致性,口型同步则让视频具有真实的MV质感,对于想要打造AI艺人的团队来说十分适配。

用户还可以结合音乐和文字提示生成最长15秒的视频片段,再通过时间轴延长、编排和编辑。歌词视频、专辑封面等功能,也让一首歌能够继续延伸出适合不同平台发布的内容。

可以预见,Visuals的出现让AI歌曲的生命周期,被视觉内容拉长。从此,音乐生成只是起点,角色、MV和持续更新的内容,才是AI音乐走向更大受众的关键环节。

而在梳理清楚用户需求与产品功能之间的对应后,小娱更好奇的是:Suno作为AI音乐平台,如何与多模态模型协同,将模型能力转化为一个真正服务于音乐创作的新工具?在这个过程中,MiniMax H3又为什么会成为Suno的选择?

图片

AI音乐究竟需要什么样的视频工具?

要解答这个问题,得先从产品需求出发做一个判断。

在小娱看来,Suno需要的视频工具,至少要满足两个条件:懂音乐,也懂Suno自己的创作生态。

先说懂音乐。

音乐生成器里的视频功能,对模型的要求和普通文生视频有明显区别。

用户已经有了一首完整的歌,模型需要围绕这首歌组织画面:理解歌曲的节奏和结构,识别歌词表达的内容,匹配相应的画面情绪,还要处理人物形象与演唱状态之间的关系。

尤其是人物演唱场景,口型能否跟上音频,直接影响最终视频的观感。

这要求模型具备比较完整的多模态理解和生成能力。文本、图像、视频、音频需要在同一套生成流程里协同工作,模型既要理解用户提供的素材,也要理解不同素材之间的关系。

MiniMax H3的技术路线,正好围绕这一点展开。

今年7月31日,MiniMax发布H3,将其定位为通用多模态生成模型;8月,MiniMax进一步开放模型权重,供开发者和企业基于模型进行部署与开发。

和此前将文生视频、图生视频、视频编辑等任务分开处理的方式相比,H3用统一的模型架构处理文本、图像、视频和音频构成的多模态上下文。

放到音乐创作场景里,我们可以想象这样一个过程:

一位Suno用户刚刚生成了一首歌,想给自己的虚拟歌手制作一支MV。他上传歌手的形象参考图,输入一段画面描述,再提供歌曲音频,甚至加入一段动作参考视频。

模型理解了这些素材分别表达了什么,并将人物形象、动作、歌曲情绪和声音组织进同一段视频里。

创作者给出的素材可能来自不同媒介,最终希望得到的却是一段完整的视听内容。H3能够在统一的多模态框架下处理这些输入,减少创作者在图像、视频和音频工具之间反复切换的环节。

它还有一个与音乐视频需求直接相关的特点。支持视频和声音同步生成。根据MiniMax公布的技术规格,H3支持原生立体声音频视频生成,完整工作流最高支持2K分辨率。模型支持多模态参考输入,最多可以接入9张图片、3段视频和3段音频。

图片

对刚才那位想制作MV的用户来说,多张图片可以帮助固定虚拟歌手的外形,视频参考可以提供动作和表演方向,音频则为画面生成提供歌曲内容。

原生音视频生成能力,也让声音与画面能够在同一生成流程中得到处理。创作者可以围绕一首歌反复生成不同片段,再挑选、编排成完整作品。

对于Visuals而言,这套能力提供了比较合适的技术基础:用户上传角色参考图,模型围绕歌曲生成画面,再通过口型同步等功能,让角色真正进入音乐视频。

当然,通用模型的能力只是起点。Suno真正需要的,是一套能够“无缝衔接”音乐产品和用户习惯的视频生成工具。

拆开来讲,就是Suno长期积累了音乐生成场景,对用户如何创作歌曲、如何使用歌曲,以及希望围绕歌曲生成什么样的视觉内容,都有自己的理解。一个通用视频模型即使具备多模态生成能力,需要进一步适配具体产品场景,才能把这些能力转化成用户真正用得上的功能。

与之相对的,H3对于Suno来说更大的价值,就在于它选择了开源。

MiniMax开放H3模型权重,给了Suno进一步定制的空间。与直接调用一个封闭的视频生成服务相比,开放权重让合作方能够围绕自己的产品需求进行部署、调整和后训练,将模型能力接入自身的技术流程。

Suno首席产品官Jack Brody也曾表示,团队使用自己的数据对这一开源模型进行了优化,使其更适合音乐视频制作。

根据Suno官方FAQ,Visuals使用的模型名为H3 Move,基于MiniMax H3开发,Suno针对自身社区进行了优化,并加入了额外的安全保护机制。

好的技术合作,往往始于彼此需要,也在彼此成就中打开新的空间。

从这个角度来看,Suno对MiniMax的选择属于“一个有能力,一个有场景”的双向奔赴。MiniMax把模型能力和开发空间交给Suno,Suno则用自己的音乐场景和用户需求,让H3有了更明确的落地路径。

技术找到了用武之地,产品也获得了继续进化的空间,用户被满足了“渴望已久”的需求,怎么不是一次三方共赢呢?

图片

从Suno到好莱坞,开源模型在海外走得有多远?

一个开源模型的想象空间,取决于全球开发者能用它做出什么。

Suno只是H3进入海外文娱产业的一个入口。过去三个月,围绕这款模型展开的开发和合作,已经延伸到专业影视制作、视频生成平台,以及更底层的技术开发环节。

AI影视公司Utopai Studios基于H3进行后训练,开发了自己的视频生成模型Utopai X,并将其用于专业影视制作探索。据企业披露,目前已有20多个在制项目,覆盖剧集和院线长片。

对于Utopai这样的公司来说,视频生成模型需要面对的,是电影、剧集制作中更具体的专业要求。基于H3继续开发专业模型,也意味着它可以把自身的影视制作经验带入模型训练,让通用视频生成能力进一步贴近专业制作需求。

这样的二次开发也发生在视频生成平台。

Pika基于H3推出Pika H3 Flex,围绕专业创作需求继续优化生成控制能力;fal则推出H3 Max,将重点放在生成速度和推理效率上。

FastVideo等技术团队围绕H3进行推理加速和硬件适配,RunningHub等创作平台也将它接入模型工作流。模型由此进入更多开发者熟悉的工具和创作环境。

从这些合作可以看到,模型进入文娱产业后,面对的并不是一套统一的需求。影视制作公司关心模型能否适应专业内容生产,视频工具平台需要考虑生成效果、操作体验和产品差异化,音乐平台则希望围绕歌曲建立更完整的视听创作流程。

这就是开源最大的优势所在,同一套模型,进入不同公司的业务体系,就可以长出不同的产品形态。模型能力会变成企业产品的核心能力之一。这样,合作方尽可以把研发投入用在自己最擅长的环节。公开数据显示,H3开源100天,下载量已经超过了超 1.48 亿次,衍生模型共 1472 个。

换个角度看,现阶段,开源也给H3提供了一个更大的试验场。 海外企业正在用具体业务需求检验开源模型的能力,也让它有机会进入更多细分的内容生产场景。

毕竟,开源模型的价值和野心,不只是被世界看见,更是被世界拿去创造。

文章标签模型发布开源

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。