IT之家 11 月 11 日消息,每年举办的 Adobe MAX 大会上,Adobe 展示的最令人印象深刻的技术之一,往往是那些仍处于实验阶段、尚未正式推出的创新功能。今天,该公司公布了最新一批实验项目:它们能够将普通图片转换为可探索的 3D 场景,通过与 AI 角色对话来设计角色形象,还能让照片编辑变成简单的复制粘贴操作。
首先是非常奇特的 Project Screen Test 项目,其旨在让用户更轻松地创建 AI 生成角色,并将其应用于视频内容。
IT之家注意到,与传统方式不同,用户不再只是通过文字提示词描述角色应该如何说话、如何表现,而是可以直接与角色对话,在类似演员试镜的环境中对其进行指导。
使用时,用户首先需要描述角色的一些基本性格特征,例如“焦虑、害羞、笨拙”等,并为角色设置声音。声音可以从预设选项中选择,也可以通过文字提示词描述,或者上传一段音频样本,让 AI 以此为参考。
随后,用户可以像通过 FaceTime 与人视频通话一样,与 AI 角色展开对话,进一步完善其人物设定,包括成长背景、性格、目标、缺点、恐惧,以及一些独特的动作习惯等。
完成角色设计后,用户还可以描述希望角色置身其中的环境或情景,生成相应的动态试镜视频。
目前,Project Screen Test 仍然是一项独立的创意实验,尚不清楚其未来是否会被整合进 Adobe 现有的 AI 视频工具中。
从实际效果来看,与许多缺乏灵魂的 AI 动画角色相比,这项工具生成的角色拥有更加鲜明、连贯的个性。不过,这恰恰也是它存在的意义:与传统动画制作相比,AI 视频生成能够提供的创作控制权要少得多。在传统动画中,角色的每一个细节都经过创作者有意识的设计,而 AI 生成的角色很难做到这一点。
另一个项目是 Project Sight Span,它能够将普通照片和图片转换为可供用户探索的 3D 空间,从而重新调整画面的构图和视角。
这项技术可以生成原始画面之外的物体和背景,将一张平面图片扩展成完整的三维环境。即使用户转动视角,查看原本被拍摄者遮挡的背后区域,系统生成的内容也能与原始画面自然衔接。
不过,在 3D 环境中浏览时,画面中的物体和背景会显得像素化,细节也不够清晰。但当用户选定最终视角后,系统便会恢复相应画面的分辨率。
Sight Span 支持各种平面图像,包括照片、绘画和插画,同时能够保留并复现原作品的艺术风格。即使用户调整照片中人物的纹身位置或面部特征,这些细节依然能够令人惊讶地保持辨识度,并与原始参考图像高度一致。
这项技术有点像苹果 Spatial Reframing 空间重构功能的强化版:用户不仅可以更加大幅度地调整画面中的元素,甚至能够彻底改变拍摄角度。不过,经过如此大幅度调整后,最终作品似乎也已经不太适合继续称为一张照片了。
Project Sound Bender 则是一项 AI 音频混音功能,用户可以像在色轮上移动光标一样,自由调整视频中的音效。
使用时,用户只需上传一段视频,并通过文字提示词描述想要的声音效果,例如“冒着气泡的科幻炼金锅声音”。Sound Bender 随后会自动生成相应音效,并将其与视频同步。
与此同时,工具还会提供一个方形声音控制面板,让用户实时调整音效。面板的四个角会自动分配不同类型的 AI 生成声音,例如密集的咕噜声和气泡爆裂声、岩石沸腾般的轰鸣声、带有音高变化的电子音,以及噼啪作响的电火花声。
用户可以在面板上拖动光标,自由选择希望突出的声音类型,也可以分别为四个角设置不同的音效。
Adobe 展示的第四个项目是 Project Rinse Repeat,它能够让用户复制已经完成的编辑操作,并自动将相同的处理效果应用到同一张照片中的其他人物或物体上。
例如,用户花费大量时间为照片中的某个人物进行磨皮,去除痘痘和皮肤瑕疵后,Rinse Repeat 就可以根据用户已经完成的具体修改,自动将类似处理应用到合影中的其他人物身上。
这项功能也可以用于商业营销图片。例如,用户可以为产品添加阴影效果,即使其他产品的形状和尺寸不同,系统也能自动适配相应的阴影。
Rinse Repeat 基于 Photoshop 构建。值得注意的是,应用到其他人物或物体上的编辑效果仍然完全可编辑,因为工具会调用 Photoshop 原生功能重新创建这些修改,而不是简单地将处理后的图像覆盖上去。
需要注意的是,这些名为“Sneaks”的项目目前都只是技术预览,未来有可能被开发成 Adobe Creative Cloud 应用或 Firefly 平台中的正式工具,但并不保证所有项目最终都会推出。
不过,这些项目几乎全部围绕 Adobe 的生成式 AI 技术展开。考虑到 AI 工具如今已经成为 Adobe 增长战略的核心,至少有一部分实验功能最终正式上线的可能性相当高。
无论这些 AI 实验看起来有多么新奇或有趣,它们也释放出一个值得关注的信号:如果这些工具足够实用,未来 AI 就有可能取代创意专业人士目前使用的部分工具和素材库,而不管他们对这项技术抱有怎样复杂的态度。
这些实验项目还有一个显著的共同点:它们都在尝试降低照片编辑、视频制作和音频混音等复杂工作流程的使用门槛,让操作变得更加直观、互动性更强。
某些功能甚至看起来有点像玩具,但它们实际上能够帮助用户完成创意项目中的实际修改。
Adobe 资深首席研究科学家高塔姆 · 迈索尔(Gautham Mysore)在接受 The Verge 采访时表示:“让这些交互方式变得更加直观,同时也是为了让经验丰富的创作者获得更精准的控制能力。Sound Bender 的声音探索功能,以及 Sight Span 的摄像机视角调整功能,都展示了专业人士如何运用自己的判断力,更直接地调整和完善最终效果。如何让创作意图与实际控制能力更紧密地结合起来,正是我们目前探索的重要方向。”