规范化和残差连接

在前面的章节中，我们了解了 Transformer 的架构、其子层以及有助于提高其效率和有效性的几个关键组件。在 Transformer 设计的核心，还有另一个关键组件，称为"add & norm"，即紧接着层规范化的残差连接。它通过避免梯度消失和稳定训练过程来提高 Transformer 模型的性能。

在本章中，我们将了解层规范化和残差连接的作用、它们的工作原理、它们的好处以及将它们实现到 Transformer 模型中的一些实际考虑因素。

层规范化和残差连接的作用

在研究规范化和残差连接的作用之前，让我们回顾一下 Transformer 架构的基础知识。

Transformer 由两部分组成:编码器和解码器。编码器和解码器都由多个层组成，每个层包括两个主要子层:多头注意力和全连接前馈神经网络。此外，残差连接和层归一化应用于这些子层，以保持稳定性并提高训练性能。

残差连接

残差连接，也称为跳过连接，是为了解决梯度消失问题而引入的。它绕过一些层，让梯度直接通过网络。简而言之，残差连接通过允许梯度通过层而不丢失太多信息，帮助网络更有效地学习。

从数学上讲，残差连接可以表示为 −

$$\mathrm{Output \: = \: Layer \: Output \: + \: Input}$$

上面的等式表明我们将一层的输出添加到其输入中。它基本上有助于模型学习输入和输出之间的差异(或残差)。通过这种方式，残差连接使模型训练变得更容易、更有效。

层归一化

层归一化是一种在整个训练过程中将输入保持在一定范围内的技术。此归一化步骤可保持训练过程稳定，尤其是在处理深度神经网络时。

从数学上讲，给定输入向量 x 的层归一化公式为 −

$$\mathrm{\hat{x} \: = \: \frac{x \: - \: \mu}{\sigma}}$$

其中 μ 是平均值，σ 是输入向量的标准差 (SD)。归一化后，使用可学习参数对输出进行缩放和移位，如下所示 −

$$\mathrm{y \: = \: \gamma \: \dot \: \hat{x} \: + \: \beta}$$

这种缩放和移位机制的好处如下 −

它允许网络保持输入的表示能力。
它还确保激活在整个训练过程中保持在一定范围内。

归一化和残差连接的工作原理

在 Transformer 架构中，归一化和残差连接应用于多头注意力和前馈神经网络 (FFNN) 子层。让我们看看它们是如何工作的 −

首先，输入 x 经过多头注意力子层。
然后将自注意力机制的输出添加到原始输入 x。这形成了残差连接。
之后，将层规范化 (LN) 应用于输入和多头注意力输出的总和。从数学上讲，此操作可以总结如下 −

$$\mathrm{Normal(x \: + \: Multi \: - \: head \: attention \: (x))}$$

现在，多头注意力子层的输出通过 FFNN 子层。
然后将 FFNN 的输出添加到自注意力机制的输入中。这再次形成残差连接。

之后，将层规范化 (LN) 应用于输入和 FFNN 输出的总和。从数学上来说，此操作可以总结如下 −

$$\mathrm{Norm2 \: \left(FFNN \: \left(Norm1 \:(x \: + \: Multi \: - \: head \:tention \: (x)) \right) \right)}$$