OpenVINO 教程

OpenVINO 教程

本教程旨在向您介绍英特尔的 OpenVINO 工具包，该工具包可与各种硬件平台配合使用以促进深度学习。本教程对初学者和经验丰富的开发人员都很有帮助。在这里，您将找到带有实际示例的分步说明。

什么是 OpenVINO?

OpenVINO 是一个开源软件工具包，旨在优化和部署 AI 模型。它代表开放视觉推理和神经网络优化。它允许开发人员仅使用几行代码构建可扩展且高效的 AI 驱动解决方案。

OpenVINO 是一个跨平台工具包，用 C++ 编写，由英特尔公司于 2018 年开发。根据 Apache License 2.0，该软件可免费使用。 GitHub 上的 OpenVINO Toolkit 存储库为 github.com/openvinotoolkit/openvino。

OpenVINO 有两个主要组件，包括接口引擎和模型优化器。除了这两个主要组件之外，OpenVINO 还有一个预先训练的模型库。

OpenVINO 是一个 AI 工具包，旨在实现"一次编写，随处部署"。

OpenVINO 模型格式

OpenVINO IR 是用于运行推理的标准格式。它存储为一对文件 *.bin 和 *.xml，分别包含权重和拓扑。此格式是通过使用应用程序的 API 或特定转换器从受支持的框架之一转换模型获得的。

OpenVINO 支持以下模型格式 −

• PaddlePaddle − 百度开发的深度学习平台，提供了一套用于模型训练、优化和部署的工具和库。最适合自然语言处理任务。
• ONNX(包括可以序列化为 ONNX 的格式) − ONNX(开放神经网络交换)允许轻松地将模型从一个框架转换为另一个框架。它用于跨多个平台的模型共享和部署。
• PyTorch − 用于开发和训练模型的深度学习框架。它有一个用户
• TensorFlow − 一种用于机器学习的开源工具，为模型开发和部署提供了广泛的工具和库。它也用于深度学习任务。

OpenVINO 的主要功能

以下是 OpenVINO 的主要功能 −

1. 模型压缩

若要在本地运行推理，您可以直接链接到 OpenVINO 运行时，也可以使用来自不同服务器或 Kubernetes 环境中的 OpenVINO 模型服务器到服务器模型。

2. 快速且可扩展的部署

OpenVINO 应用程序是一次编写，随处部署的，这意味着一旦您构建了模型，就可以将其部署在任何硬件平台上。编程语言和操作系统也具有灵活性，因为 OpenVINO 支持 Linux、Windows 和 MacOS，还提供 Python、C++ 和 C API。

3. 更轻量的部署

OpenVINO 的创建具有较少的外部依赖性，减少了应用程序的占用空间，简化了安装和依赖关系处理。您可以通过自定义编译特定模型来进一步减小最终二进制文件的大小。

4.增强的应用启动时间

如果您需要快速启动，OpenVINO 可以通过使用 CPU 作为初始接口来减少第一个接口的延迟，一旦模型编译完成并装入内存，它就会切换到其他机器。这些编译的模型被缓存，这使得启动时间更好。

下载并安装 OpenVINO

从英特尔网站获取英特尔 OpenVINO 工具包分发版。目前，如果您没有英特尔帐户，您需要创建一个，登录，然后转到下载页面。选择版本 2024.3 TLS 并输入您的验证码。

以下步骤适用于 64 位操作系统上的 Ubuntu 16.04 −

步骤 1:提取安装包

• 打开 cmd 提示符窗口
• 移动到您下载适用于 Linux 的英特尔 OpenVINO 工具包发行版的目录。如果您将软件包保存在 Downloads 文件夹中，请运行:cd ~/Downloads/ 该文件通常名为 l_openvino_toolkit_p_<version>.tgz。
• 提取 .tgz 文件:tar -xvzf l_openvino_toolkit_p_.tgz

第 2 步:开始安装 OpenVINO

打开终端，移至提取后创建的文件夹，然后运行安装命令。

选择 1 − 使用 GUI 安装向导:sudo ./install_GUI.sh

选择 2 −按照命令行说明操作:sudo ./install.sh

以 root 身份安装时，OpenVINO 的默认安装目录为 /opt/intel/openvino_<version>/

完成安装过程，表明 OpenVINO 已安装。

步骤 3:安装外部软件要求

注意:如果您在默认目录以外的目录中安装 OpenVINO，请将 /opt/intel 替换为安装目录的路径。

所需的依赖项是 −

• 英特尔优化的 OpenCV 库版本
• 深度学习推理引擎
• 深度学习模型优化器工具

1. 更改为 install_dependencies 路径:cd /opt/intel/openvino/install_dependencies

2.运行代码以下载并安装外部软件要求:sudo -E ./install_openvino_dependencies.sh

步骤 4:设置环境变量

在编译和运行 OpenVINO 应用程序之前，您需要更新多个环境变量。

使用这些说明设置环境变量 −

• 在 <user_directory> 中打开 .bashrc 文件:vi /.bashrc
• 在文件末尾添加以下命令:source /opt/intel/openvino/bin/setupvars.sh
• 按 Esc 键和 Enter 键保存并关闭文件:wq
• 要测试您的更改，请打开一个新终端。您会注意到:[setupvars.sh] OpenVINO 环境已准备就绪。

配置成功。

第 5 步:设置模型优化器

• 移动到模型优化器的先决条件路径:cd/opt/intel/openvino/deployment_tools/model_optimizer/install_prerequisites
• 执行这些代码为 Caffe、TensorFlow、MXNet、Kaldi 和 ONNX 设置模型优化器:$ sudo ./install_prerequisites.sh

您也可以根据需要运行特定版本 −

• Kaldi − sudo ./install_prerequisites_kaldi.sh
• MXNet − sudo ./install_prerequisites_mxnet.sh
• TensorFlow − sudo ./install_prerequisites_tf.sh
• ONNX − sudo ./install_prerequisites_onnx.sh
• Caffe − sudo ./install_prerequisites_caffe.sh

学习 OpenVINO 的先决条件

要学习 OpenVINO，您需要了解编程语言的基础知识，特别是 Python 或 C++。您还应该对深度学习概念(包括神经网络)有中级了解，以了解 OpenVINO 的工作原理。

谁可以学习 OpenVINO?

任何人都可以学习 OpenVINO，包括数据科学家、软件开发人员和 AI/ML 工程师。人工智能、机器学习、深度学习、自然语言处理或计算机视觉等领域的学生也可以受益，因为他们获得了模型优化方面的宝贵经验。

OpenVINO 常见问题解答

1. OpenVINO 工具包有什么用?

OpenVINO 工具包用于开发和部署机器学习模型。它们允许用户编写一次，然后在任何地方部署。

2. OpenVINO 有什么作用?

OpenVINO 是英特尔公司开发的一款软件工具包，有助于增强和优化 AI 模型。

3. 在哪里下载 OpenVINO?

要下载 OpenVINO，您需要转到 OpenVINO 工具包下载页面。选择您的操作系统并下载适当的版本。

4. OpenVINO 可以在 AMD 上运行吗?

OpenVINO 工具包官方仅支持英特尔硬件。

5. OpenVINO 支持哪些操作系统?

OpenVINO 支持 Linux、Windows 和 MacOS。它还允许您使用您喜欢的编程语言。

6. OpenVINO 是一个开源平台吗?

是的，OpenVino 是英特尔公司于 2018 年开发的开源深度学习软件工具包。

7. OpenVINO 是否支持边缘设备?

是的，OpenVINO 支持边缘设备，允许在英特尔硬件上进行高性能 AI 处理。

8. OpenVINO 支持哪些类型的硬件?

英特尔 CPU、英特尔 GPU、英特尔 VPU、英特尔 FPGA 和英特尔神经计算棒是 OpenVINO 支持的硬件。