生成式 AI 中的 Transformers
Transformers 是一种将输入序列转换为输出序列的神经网络架构。GPT 模型是 Transformers 神经网络。ChatGPT 使用 Transformers 架构，因为它们允许模型专注于最相关的输入数据段。
阅读本章以了解 Transformers 模型是什么、其关键组件、Transformer 模型的必要性以及 Transformer 与生成对抗网络 (GAN) 之间的比较分析。
什么是 Transformer 模型?
Transformer 模型是一种通过顺序数据分析来学习上下文的神经网络。
Transformers 帮助大型语言模型 (LLM) 理解语言中的上下文并高效地写作。Transformers 可以一次处理和分析整篇文章，而不仅仅是单个单词或句子。它允许 LLM 捕获上下文并生成更好的内容。
与循环神经网络 (RNN) 和卷积神经网络 (CNN) 不同，Transformer 依靠现代和不断发展的数学技术(称为自注意力机制)来处理和生成文本。自注意力机制有助于了解远距离数据元素如何相互依赖。
Transformer 模型的关键组件
本节简要概述了使 Transformer 模型如此成功的关键组件 −
自注意力机制
自注意力机制允许模型对输入序列的不同部分进行不同的加权。它使模型能够捕获文本中的长距离依赖关系和关系，从而生成更连贯、更具有上下文感知能力的文本。
多头注意力
Transformer 模型使用多个注意力头，每个头独立运行并捕获输入数据的各个方面。为了获得结果，这些头的输出被组合在一起。通过使用多头注意力，Transformer 可以更好地表示输入数据。
位置编码
Transformer 本身无法捕获文本的顺序性，这就是为什么在输入嵌入中添加位置编码的原因。位置编码的作用是提供序列中每个单词位置的信息。
前馈神经网络
应用自注意力机制后，转换后的输入表示将通过前馈神经网络 (FFNN) 进行进一步处理。
层规范化
层规范化可使模型更有效地收敛，因为它有助于稳定和加速训练过程。
编码器-解码器结构
Transformer 模型由编码器和解码器组成，每个编码器和解码器由多个层组成。编码器处理输入序列并生成编码表示，而解码器使用此表示生成输出序列。
为什么我们需要 Transformer 模型?
在本节中，我们将重点介绍需要 Transformer 架构的原因。
Transformer 可以捕获长距离依赖关系
由于梯度消失问题，循环神经网络 (RNN) 及其变体(如长短期记忆 (LSTM) 和门控循环单元 (GRU))无法有效处理长距离依赖关系。
另一方面，Transformer 使用自注意力机制，使它们能够一次考虑整个序列。这种能力使 Transformer 能够比 RNN 更有效地捕获长距离依赖关系。
Transformer 可以处理并行处理
RNN 按顺序处理序列，这会导致更长的训练时间和低效率，尤其是在处理大型数据集和长序列时。
Transformer 中的自注意力机制允许并行处理输入序列，从而加快训练时间。
Transformer 可扩展
尽管 CNN 可以并行处理数据，但它们本质上并不适合顺序数据。此外，CNN 无法有效捕获全局上下文。
Transformer 的架构设计使其能够处理不同长度的输入序列。这使得 Transformer 比 CNN 更具可扩展性。
Transformer 与生成对抗网络之间的区别
尽管 Transformer 和 GAN 都是强大的深度学习模型，但它们的用途不同，并且用于不同的领域。
下表根据这两个模型的特点对其进行了比较分析 −
| 特征 | Transformers | GANs |
|---|---|---|
| 架构 |
它使用自注意力机制来处理输入数据。 它并行处理输入序列，使它们能够处理长距离依赖关系。 它由编码器和解码器层组成。 |
GAN 主要用于生成逼真的合成数据。 它由两个竞争网络组成:一个生成器和一个鉴别器。 生成器创建虚假数据，鉴别器根据真实数据对其进行评估。 |
| 主要特点 |
它可以处理图像分类和语音识别等甚至超出 NLP 范围的任务。 Transformers 需要大量计算资源进行训练。 |
它可以生成高质量、逼真的合成数据。 GAN 训练可能不稳定，因此需要仔细调整参数。 |
| 应用 |
Transformers 本质上用途广泛，可以适用于各种机器学习任务。 语言翻译、文本摘要、情感分析、图像处理、语音识别等。 |
GAN 的重点是需要高质量合成数据生成的任务。 图像和视频生成、创建合成面孔、数据增强、医学成像、增强图像分辨率等。 |
| 优点 |
它可以有效地处理长距离依赖关系。 其并行处理能力节省了训练时间。 它在 NLP 任务中的表现优于其他模型。 |
它适用于创意应用和标记数据有限的场景。 它能够生成高度逼真的合成数据。 GAN 显著提高了图像和视频生成的能力。 |
| 局限性 |
Transformers 需要大量的训练数据和计算能力。 与更简单的模型相比，它的可解释性较差。 由于自注意力机制的二次复杂度，非常长的序列存在可扩展性问题。 |
GAN 训练很复杂，而且可能不稳定。例如，模式崩溃。 它们对于顺序数据任务的效率较低。 计算成本很高。 |
结论
Transformer 模型从根本上改变了自然语言处理 (NLP) 领域。通过使用 Transformer 及其多模态架构，ChatGPT 可以为各种应用生成多模态输出。
与 Transformer 一样，GAN 也是一种用于各种应用的强大深度学习模型。我们对 Transformer 和 GAN 进行了比较分析。
