惊人的AI视频生成技术震撼发布

Find AI Tools

No difficulty

No complicated process

Find ai tools

Home AI News CN 惊人的AI视频生成技术震撼发布

惊人的AI视频生成技术震撼发布

神奇的图像生成视频AI 💥

在当今世界，图像生成人工智能（AI）已经取得了惊人的成就，人们往往难以区分真实和虚构的图像。最近，视频生成AI也开始慢慢崭露头角，虽然并不像图像生成AI那样广为人知，但你可能已经在各种地方看到了相关的演示。我自己也在过去几个月里密切关注了这方面的发展，并从中得到了灵感。尽管展示别人制作的演示等等很好，但我认为很多人可能会想知道，如何将这些令人惊叹的演示转化为对个人或公司真正有用的东西？这是我自己一直在思考的问题，并且我将向你展示我在过去两周中一直在研究的一个工具。我相信，它将会让很多人都羡慕不已，包括许多YouTuber。

但在开始之前，我先介绍一下我们的赞助商hostinger提供的VPS服务。如果您需要一个全天候运行的Linux服务器，您可能已经考虑过租用一个虚拟专用服务器（VPS），因为它们比共享主机更强大，价格也非常实惠，特别是在hostinger上，配置非常无与伦比。您可以以每月6.49欧元的价格获得8核心CPU、8GB内存、100GB NVMe硬盘空间和8T带宽。对于WordPress、Plex多媒体服务器或Minecraft服务器来说，这个配置非常适合，尤其是因为您将获得300 Mbps的对称网络、每周免费备份（这是相当罕见的），强大的抗DOS保护以及hostinger提供的专业文档部分，非常适合不熟悉Linux的用户。而且使用代码“undersore”，您将获得所有12个月或更长计划的额外10%折扣。链接请见描述中。

现在回到主题，我将展示一些最令人感兴趣的当前AI，以使您对其质量水平有一个初步的了解。首先，有一个非常引人注目的项目叫做RunwayAI。这个项目应该是在你们看到的演示中最出名的，他们已经发布了第一代和第二代AI。第二代AI在今年夏天逐渐推出，令人惊讶的是他们只用了三个月就取得了巨大进展。我将给你展示一个在Star Wars影迷做的用AI生成的预告片，这个人自己一个人做，这个短片看起来非常具有代入感，而实际上完全是用人工智能生成的。虽然其中有一些小瑕疵，比如有时候你会看到一些轻微的闪烁或者光剑不完美的地方，但总的来说，效果非常惊人。

随后，在Gen 2版Runway发布之前，我们看了一段由Gen 1版生成的视频。随着不断的发展，这些生成的视频变得越来越逼真，但对于整个画面的较长拍摄，它们仍然表现得有些奇怪。在这方面，有些人提供了竞争对手，最近公布的一款名为LaVie的AI。它与Gen 2不同的主要区别在于，它需要明确区分背景和前景，即前景和背景应该是截然不同的。这对于像Stable Video Diffusion这样的生成工具来说非常重要，因为它需要清晰的场景，以生成更好的结果。使用LaVie，你可以设置每秒6或25帧的图像速率，并可以提供提示，描述你希望视频中的动作。现在想象一下，如果它的成熟版本具备更高级的功能，能使我们的AI做出更无法预测的动作，比如让熊猫起立跳舞，那么可能需要更全面的提示系统，以及早期版本所没有的超高级神经网络。

现在让我们来看看一个比较令人印象深刻的项目，它看起来并不像其他工具那样引人注目，但实际上却是我最喜欢的。它被称为Stable Video Diffusion，也是由Stability AI开发的。他们具有的一个非常有趣的特点是，他们将他们的模型作为开源软件提供给任何人使用，并且旨在在用户的硬件上运行，而不是在25000欧元的GPU上运行。这在用户角度来看非常有优势。总体来说，他们的模型非常令人印象深刻，因为它们在一定程度上能够保持良好的一致性。尽管它们在创造动作方面并不像其他模型那样有创意，但总体而言，它们在很多方面都是成功的。以下是一些示例，你可以看到它们在动作描绘方面的相对一致性，以及很好地捕捉到不同对象的运动方式。通过观察视频，我们可以看出，动物的生成结果并不那么完美，会有一些奇怪的情况出现，有时甚至出现幻觉。所以总的来说，它的质量尚可，但并不令人印象深刻。

最后，我想提到的是Topaz AI视频放大。这就是就是我在前面提到的，它能够提高视频的分辨率，并创建额外的图像。比如你拍摄了一个视频，你想将它以超慢动作的方式放大，但如果你直接这样做，视频会变得很糟糕。但是使用Topaz AI，你可以通过提供更多的计算能力来获得非常出色的效果。它使用的是本地处理，因此不需要非常昂贵的GPU，实际上，一个普通的游戏PC就可以完美运行。这意味着你可以将常规视频转化为超慢动作，这实在太神奇了。为了举一个例子，将一个1080p30的视频放大到4K60大约需要10个小时，这是一个相当令人难以忍受的时间，但它的效果是非常令人满意的。当然，如果你放在云端处理，成本可能会非常高，但在本地处理的情况下，成本是非常合理的。

现在，让我们谈谈自动化视频生成工具。经过一番调研和尝试，我开发了一个类似于N8N的工具，它允许你使用node的方式进行自动化。在我使用的图像生成工具中，没有为replicate提供自定义节点，所以我不得不自己编写一个。这个设想实在太棒了，因为N8N是开源的，你可以开发自己所需的节点。因此，我开发了一个自定义节点，用来连接replicate。这是非常令人兴奋的，因为N8N不仅是一个非常强大的工具，它还比Zapier更便宜，你可以将其部署到自己的计算机上，而且比大多数人熟知的Zapier价格要低得多。当然，对于不熟悉编程的用户来说，N8N是一个非常方便的选择，而且我们可以通过编写脚本来实现复杂的功能。

现在，让我们看看整个工具是如何工作的。你可以想象一下，你首先录制一个视频，然后交给AI处理。AI会根据你输入的脚本，为视频生成不同的场景。这些场景会以最合适和最有视觉效果的方式展现你要表达的内容。AI会生成大量与你的视频相关的图像，并在你开始剪辑之前就为你准备好，因此你可以轻松地将它们与其他素材一起使用。这样一来，在剪辑过程中，你就已经有了50到70个与你的视频风格相匹配的高质量视频，而且你还没有开始剪辑。这对于那些想要黑白效果、卡通效果、以及具有个人或企业品牌色彩的视频制作者来说，是非常有吸引力的。你可以开始你的剪辑工作，不用担心没有素材可用，因为你已经有了一个完整的库。当然，这个过程不完美，还有一些生成的视频不够理想，但总体来说，你可以开始你的编辑工作，并且会有很多素材可以使用。

在实际应用方面，这个工具有很大的潜力。你可以想象，在YouTube等平台上传视频时，可能会有大量的插图等自动生成的内容。在将来，这种技术可能会越来越普遍，你只需录制一个视频，然后AI会自动为你生成理想的插图。虽然演示中的效果看起来更具有实验性，但未来的应用非常有希望。

当然，这个工具还有一些需要注意的问题。在Tuning过程中，我花了很多时间来寻找最佳参数，我尝试了很多组合，才找到了让我的视频看起来舒适的参数设置。所以Tuning是不可避免的，你可能需要花费一些时间来尝试和调整。此外，对于Prompt的部分，我确信我们可以进一步提高一致性，以使生成的视频风格更加一致。目前，我的交互只是简单地请求AI生成prompt，但有更多的方法可以使用。将来，我们可以通过与AI的更深入的互动来实现更具创造性的结果，比如实现真正的Mind fuck（脑洞）级别的效果。此外，我们可以尝试构建一个系统，它会读取录制的视频，并根据剧本自动生成插图，以不同的方式展现视频中的情节。当然，这将需要更长的处理时间，可能需要24小时才能处理一整部视频，但它最终会为你提供很多已经与视频相关的高质量素材，而无需你亲自制作。