Gen-2：精准控制期望发生运动的主体对象

AI办公工具 11个月前 lida

41 0 0

文章主题：Gen-2, 期望发生运动的主体对象, 运动幅度, 视频生成
AI

加入AI探索者行列，预订2024年度AI技术专栏，快速掌握AI的最新应用！

上周Runway Gen-2推出了一个Ambient的小功能，仍旧归属于Motion Brush中，当时录制了一个视频简单演示了一下，没有看过的朋友可以先看一下，这篇文章再简单说说这个功能有什么好处。

在以往的图生视频的过程中，通过Motion Brush工具，

Gen-2技术能够精确地操控那些我们希望发生运动的对象。常规操作步骤是，先选择目标对象，然后设定其在x、y、z三个方向上的运动幅度，接着生成相关视频。然而，在很多情况下，我们的目标是让环境发生变化，而不是让主体进行运动。尽管我们还可以通过画笔选择环境并设定其运动方向，但这仍然是非常不合理的，因为环境的变化往往是无规律的，而沿着固定的方向运动并不是环境的主要特征。

所以Runway推出了新的环境扩散模式Ambient，通过指定扩散范围，让AI自主决定扩散的方式和强度。Ambient(noise)强度越大，扩散变化越大，和原始图像越偏离。强度越小，扩散变化越小，和原始图像越接近。

在当前的科技环境中，人工智能（AI）已经通过处理海量的数据，成功掌握了对图像生成扩散的方法。这种技术使得我们能够在不指定物体的移动方向的情况下，让它们进行扩散式的运动。以新年贺卡的短视频为例，我将展示其中所包含的微小差别。这些新年贺卡是由我利用Dall-E生成的一个系列图像，并计划将其转化为一个简单的视频。

Dall-e在生成具有统一风格的图片系列方面表现相当出色。一旦我们获得一张令人满意的图像，便可以让她调整画面元素，从而快速生成一系列风格相近的图片。同时，其对文字生成的精确度也相当可靠。

Gen-2：精准控制期望发生运动的主体对象

上面是原始图像，下面是默认生成的视频：

关闭

观看更多

正在加载

退出全屏

视频加载失败，请刷新页面再试

Gen-2：精准控制期望发生运动的主体对象刷新

Gen-2：精准控制期望发生运动的主体对象

视频详情

可以看到在不使用运动画笔时，即便将Motion参数设的很小，也容易发生扩散变形失败。这时我们可以使用新的环境运动控制，将需要发生变化的区域勾选上，保留人物主体不勾选。看下面两种不同的勾选范围产生的不同结果：