深度学习中的深度信念网络 (DBN)

machine learningpythondata science

简介

深度信念网络 (DBN) 是一种结合了无监督学习原理和神经网络的深度学习架构。它们由多层受限玻尔兹曼机 (RBM) 组成，这些层以无监督方式逐层训练。一个 RBM 的输出用作下一个 RBM 的输入，最终输出用于分类或回归等监督学习任务。

深度信念网络

DBN 已用于各种应用，包括图像识别、语音识别和自然语言处理。它们已被证明在许多任务中取得了最先进的成果，是目前最强大的深度学习架构之一。

由于 DBN 不像 RBM 那样使用原始输入，因此 DBN 也不同于其他深度学习算法，如自动编码器和受限玻尔兹曼机 (RBM)。相反，DBN 在一个输入层上运行，每个输入向量都有一个神经元，经过多个层后才到达最后一层，在最后一层，使用从前面的层获得的概率产生输出。

DBN 的架构

DBN 的基本结构由几层 RBM 组成。每个 RBM 都会学习输入数据的概率分布，这是一个生成模型。虽然 DBN 的连续层会学习更高级的特征，但 DBN 的初始层会学习数据的基本结构。对于分类或回归等监督学习任务，将使用 DBN 的最后一层。

DBN 中的每个 RBM 都使用对比散度进行独立训练，这是一种无监督学习方法。使用此方法可以近似 RBM 参数的数据对数似然梯度。然后将一个经过训练的 RBM 的输出用作后续 RBM 的输入，这是通过将经过训练的 RBM 堆叠在一起来完成的。

在 DBN 经过训练后，可以通过使用反向传播等监督学习技术调整最后一层的权重来对其执行监督学习任务。此微调过程可以提高 DBN 在特定任务上的表现。

DBN 的演变

最早的一代神经网络称为感知器，非常强大。根据我们的反应，它们可以帮助我们识别图片中的物体或衡量我们对某种美食的喜爱程度。但它们受到限制。它们经常一次只考虑一条信息，很难理解周围发生的事情的背景。

第二代神经网络的一种。反向传播是一种将收到的输出与预期结果进行比较并将误差值降低至零的技术，这意味着每个感知器最终都会达到其理想状态。

有向无环图 (DAG)，通常称为信念网络，是下一步，有助于解决推理和学习问题。它使我们比以往任何时候都更能控制我们的数据。

最后，深度信念网络 (DBN) 可用于创建公平值，然后我们可以将其存储在叶节点中，确保无论过程中发生什么，我们始终都有适当的解决方案。

DBN 的工作原理

要直接获取像素输入信号，我们必须训练一个属性层。然后，通过将这些竞争利益群体的值视为像素，我们发现最初获得的特征的特征。我们向网络中添加的每个新子类或特征都会提高训练数据集对数责任的下限。

以下描述了深度信念网络的操作流程 −

我们首先在顶部两个隐藏层中执行多次 Gibbs 采样迭代。顶部两个隐藏层定义了 RBM。因此，此阶段成功从中删除了一个样本。
之后，对模型的其余部分运行一次祖先采样，以从可见单元中创建样本
我们将采用单一自下而上的方法来确定每层中潜在变量的值。贪婪预训练从最低层的观测数据向量开始。然后，它在另一个方向上调整生成权重。

DBN 的优势

DBN 的主要优势之一是它们能够以无监督的方式从数据中学习特征。这意味着它们不需要标记数据，这可能很困难且耗时。 DBN 还可以学习数据的分层表示，每层都会学习越来越复杂的特征。对于图片识别等应用，最早的层可以拾取边缘等基本细节，这种分层表示非常有用。但是，后面的层能够学习更复杂的属性，例如形式和对象

此外，DBN 已被证明能够抵抗过度拟合，这是深度学习的一个主要问题。这是由于 RBM 在无监督预训练期间对模型正则化的贡献。在微调阶段仅使用少量标记数据即可将过度拟合的风险降至最低。

其他深度学习架构，例如卷积神经网络 (CNN) 和循环神经网络，可以由 DBN (RNN) 初始化其权重。因此，这些架构可以从一组可靠的初始权重开始，从而提高其性能。

DBN 管理缺失数据的能力是另一个好处。在许多实际应用中，某些数据损坏或缺失的情况经常发生。由于传统神经网络是针对完整且正确的数据而设计的，因此可能需要帮助来处理缺失数据。然而，通过使用一种称为"dropout"的方法，可以教会 DBN 学习不受缺失数据影响的稳健特性。

DBN 还可用于生成活动，例如创建文本和图像。由于 RBM 的无监督预训练，DBN 可以学习数据的概率分布，并且可以生成与训练数据相似的新样本。这可能对计算机视觉等软件程序有帮助，这些程序可以根据标签或其他特性创建新图像。

梯度消失问题是深度神经网络训练的主要困难之一。随着网络层数的增加，训练期间用于更新权重的梯度可能会变得非常小，这使得有效训练网络变得具有挑战性。由于 RBM 的无监督预训练，DBN 可以解决这个问题。每个 RBM 在预训练期间都会学习数据的表示，该表示相对稳定，不会因权重的微小变化而发生显着变化。这意味着当 DBN 针对监督作业进行优化时，用于更新权重的梯度会大得多，从而提高训练效率。

除了标准的深度学习任务外，DBN 还被有效地用于各种行业，包括生物信息学、药物开发和财务预测。DBN 已在生物信息学中用于寻找提示疾病的基因表达数据中的模式，可用于创建新的诊断工具。DBN 已在药物发现中用于寻找具有转化为药物潜力的新型化合物。金融行业已经使用 DBN 预测了股票价格和其他金融变量