库和框架

在本章中，我们将把深度学习与不同的库和框架联系起来。

深度学习和 Theano

如果我们想开始编写深度神经网络，最好了解 Theano、TensorFlow、Keras、PyTorch 等不同框架的工作原理。

Theano 是一个 Python 库，它提供了一组用于构建深度网络的函数，这些深度网络可以在我们的机器上快速训练。

Theano 是在加拿大蒙特利尔大学由深度网络先驱 Yoshua Bengio 领导开发的。

Theano 让我们用向量和矩阵(数字的矩形数组)来定义和评估数学表达式。

从技术上讲，神经网络和输入数据都可以表示为矩阵，并且所有标准网络操作都可以重新定义为矩阵操作。这很重要，因为计算机可以非常快速地执行矩阵运算。

我们可以并行处理多个矩阵值，如果我们用这种底层结构构建一个神经网络，我们就可以使用一台带有 GPU 的机器在合理的时间窗口内训练庞大的网络。

但是如果我们使用 Theano，我们必须从头开始构建深度网络。该库不提供创建特定类型深度网络的完整功能。

相反，我们必须对深度网络的每个方面进行编码，如模型、层、激活、训练方法和任何特殊方法，以阻止过度拟合。

然而，好消息是 Theano 允许在矢量化函数之上构建我们的实现，从而为我们提供高度优化的解决方案。

还有许多其他库可以扩展 Theano 的功能。TensorFlow 和 Keras 可以与 Theano 一起用作后端。

Google 的 TensorFlow 是一个 Python 库。这个库是构建商业级深度学习应用程序的绝佳选择。

TensorFlow 源自另一个库 DistBelief V2，它是 Google Brain 项目的一部分。这个库旨在扩展机器学习的可移植性，以便研究模型可以应用于商业级应用程序。

与 Theano 库非常相似，TensorFlow 基于计算图，其中节点表示持久数据或数学运算，边表示节点之间的数据流，它是一个多维数组或张量；因此得名 TensorFlow

一个操作或一组操作的输出被作为下一个操作的输入。

尽管 TensorFlow 是为神经网络设计的，但它也适用于其他可以将计算建模为数据流图的网络。

TensorFlow 还使用了 Theano 的几个功能，例如公共和子表达式消除、自动微分、共享和符号变量。

可以使用 TensorFlow 构建不同类型的深度网络，如卷积网络、自动编码器、RNTN、RNN、RBM、DBM/MLP 等。

但是，TensorFlow 不支持超参数配置。对于此功能，我们可以使用 Keras。

Keras 是一个功能强大且易于使用的 Python 库，用于开发和评估深度学习模型。

它采用极简主义设计，允许我们构建一个逐层构建网络；训练并运行它。

它包装了高效的数值计算库 Theano 和 TensorFlow，并允许我们在几行简短的代码中定义和训练神经网络模型。

它是一个高级神经网络 API，有助于广泛使用深度学习和人工智能。它运行在许多较低级别的库之上，包括 TensorFlow、Theano 等。Keras 代码是可移植的；我们可以使用 Theano 或 TensorFlow 作为后端在 Keras 中实现神经网络，而无需更改任何代码。