Microsoft Cognitive Toolkit (CNTK) - CPU 和 GPU

Microsoft Cognitive Toolkit 提供两种不同的构建版本，即仅 CPU 和仅 GPU。

仅 CPU 构建版本

CNTK 的仅 CPU 构建版本使用优化的 Intel MKLML，其中 MKLML 是 MKL(数学核心库)的子集，并与 Intel MKL-DNN 一起发布，作为 MKL-DNN 的 Intel MKL 的终止版本。

仅 GPU 构建版本

另一方面，CNTK 的仅 GPU 构建版本使用高度优化的 NVIDIA 库，例如 CUB 和 cuDNN。它支持跨多个 GPU 和多台机器进行分布式训练。为了在 CNTK 中进行更快的分布式训练，GPU 版本还包括 −

• MSR 开发的 1 位量化 SGD。

• 块动量 SGD 并行训练算法。

在 Windows 上使用 CNTK 启用 GPU

在上一节中，我们了解了如何安装基本版本的 CNTK 以与 CPU 一起使用。现在让我们讨论如何安装 CNTK 以与 GPU 一起使用。但在深入研究之前，首先您应该拥有受支持的显卡。

目前，CNTK 支持至少支持 CUDA 3.0 的 NVIDIA 显卡。为确保万无一失，您可以在 https://developer.nvidia.com/cuda-gpus 上检查您的 GPU 是否支持 CUDA。

那么，让我们看看在 Windows 操作系统上使用 CNTK 启用 GPU 的步骤 −

步骤 1 − 根据您使用的显卡，首先您需要为您的显卡安装最新的 GeForce 或 Quadro 驱动程序。

步骤 2 −下载驱动程序后，您需要从 NVIDIA 网站 https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64 安装适用于 Windows 的 CUDA 工具包版本 9.0。安装后，运行安装程序并按照说明进行操作。

步骤 3 −接下来，您需要从 NVIDIA 网站 https://developer.nvidia.com/rdp/form/cudnn-download-survey 安装 cuDNN 二进制文件。对于 CUDA 9.0 版本，cuDNN 7.4.1 运行良好。基本上，cuDNN 是 CUDA 顶层的一层，由 CNTK 使用。

步骤 4 − 下载 cuDNN 二进制文件后，您需要将 zip 文件解压到 CUDA 工具包安装的根文件夹中。

步骤 5 − 这是最后一步，它将在 CNTK 内启用 GPU 使用。在 Windows 操作系统的 Anaconda 提示符内执行以下命令 −

pip install cntk-gpu

在 Linux 上使用 CNTK 启用 GPU

让我们看看如何在 Linux 操作系统上使用 CNTK 启用 GPU −

下载 CUDA 工具包

首先，您需要从 NVIDIA 网站安装 CUDA 工具包 https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type =runfilelocal。

运行安装程序

现在，一旦磁盘上有二进制文件，请打开终端并执行以下命令和屏幕上的说明来运行安装程序−

sh cuda_9.0.176_384.81_linux-run

修改 Bash 配置文件脚本

在 Linux 机器上安装 CUDA 工具包后，您需要修改 BASH 配置文件脚本。为此，首先在文本编辑器中打开 $HOME/ .bashrc 文件。现在，在脚本末尾添加以下行 −

export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
安装

安装 cuDNN 库

最后，我们需要安装 cuDNN 二进制文件。可以从 NVIDIA 网站下载 https://developer.nvidia.com/rdp/form/cudnn-download-survey。使用 CUDA 9.0 版本，cuDNN 7.4.1 运行良好。基本上，cuDNN 是 CUDA 顶层的一层，由 CNTK 使用。

下载 Linux 版本后，使用以下命令将其解压到 /usr/local/cuda-9.0 文件夹 −

tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgz

根据需要更改文件名的路径。