合成媒体 - 视频合成

合成视频是使用现代技术生成的人工视频。它们可以是完全人工的,也可以是真实镜头的编辑版本。视频合成用于电影制作、广告、视频游戏和研究等领域。本节将介绍合成视频、其类型、深度伪造视频、AI 生成的视频和示例。

合成视频的类型

随着技术的进步,已经开发出各种工具来制作人工视频。以下是不同年代使用的合成视频类型:

  • 编辑视频:在 1990 年代,Adobe Premiere 等视频编辑软件允许用户修改真实视频片段。这是合成视频创作的第一步。
  • 视觉效果 (VFX):在 2000 年代,计算机生成图像 (CGI) 和其他视觉效果技术被广泛应用于电影和游戏中,用于创建完全虚构的场景。
  • Deepfakes:在 2010 年代,深度学习技术被开发用于创建高度逼真的假视频。例如,在视频中交换面孔和口型同步等
  • AI 生成的视频:如今,AI 技术已经发展到只需在几秒钟内使用人类提示即可从头开始创建新的超现实视频。

Deepfake 视频

Deepfake 视频是使用深度学习技术制作的假视频,与真实人物或事件非常相似。例如,在视频中交换面孔,改变嘴唇动作以匹配不同的音频等。如今,Deepfakes 变得如此完美,很难用肉眼识别。

Deepfake 视频是使用称为生成对抗网络 (GAN) 的深度学习算法创建的。GAN 编码器从各个角度分析目标的照片或视频,以捕捉细节、视角和模式。分析后,GAN 会创建一个潜在面孔,这是目标面部特征的向量表示。并使用此向量运行两个神经网络,即生成器和鉴别器。查看本文以了解有关deepfake 媒体的更多信息。

使用 AI 的合成视频

AI 生成的视频完全由人工智能创建,无需使用真实镜头。通常,这些视频是根据给 AI 的文本描述或提示生成的。

AI 使用 NLP 模型来理解文本提示并将其转换为视觉内容。此过程通常使用生成对抗网络 (GAN) 或转换器等算法完成。

AI 生成的视频通常用于视频合成、虚拟化身甚至动画角色等领域。如今,AI 可以根据给定的提示生成逼真的动作、面部表情和场景。

AI 视频生成器如何工作?

AI 视频生成器使用复杂的机器学习技术运行。以下是这些工具如何工作的分步说明:

  • 在视频数据集上进行训练:使用大量视频数据集训练 AI 模型。该模型从这些视频中学习模式、动作和特征,以生成新的模式、动作和特征。
  • 理解文本提示:自然语言处理 (NLP) 技术可帮助模型理解用户的文本输入。AI 理解视频中要包含的对象、动作和场景。
  • 生成视频帧:该模型根据学习到的数据和文本输入生成单个视频帧。
  • 帧排序:生成帧后,AI 将它们排序在一起以创建流畅、连续的视频。

AI 视频生成工具

有几种工具可用于生成合成视频。一些流行的包括:

  • DALL·E Video:由 OpenAI 开发的视频生成模型,可将文本描述转换为短视频片段。
  • Dreamix:来自 Google 的一款工具,允许根据用户输入创建和编辑视频片段。
  • Runway ML:一个提供由 AI 驱动的视频生成和编辑工具的平台。
  • Meta Make-A-Video:来自 Meta 的一款工具,可以根据文本提示创建短视频。