OpenVINO - 工作流程

在本章中,我们将了解 OpenVINO 工作流程以及读取、编译和转换 OpenVINO 的方法。

OpenVINO 工作流程

以下是 OpenVINO 工具包的分步程序(工作流程) −

步骤 1:规划和设置

确定必要的配置。然后,确定模型类型和框架。

步骤 2:选择模型

在此步骤中,从 Open Model Zoo 中查找或训练模型,然后检查模型是否足够准确。如果模型不准确,请重新训练它。

步骤 3:修改

运行模型优化器将模型转换为中间表示,并检查模型是否转换成功。如果没有,请修复错误或创建自定义层。如果这不起作用,请升级到英特尔支持或尝试其他模型。现在,我们将进入下一步:调整。

步骤 4:调整

现在在模型上运行推理引擎,并检查它是否足够快且准确度可接受。如果没有,请尝试对模型进行高级调整。如果高级调整也不起作用,请尝试基于硬件的干预或训练扩展。

步骤 5:部署

在此步骤中,将模型集成到管道或应用程序中。软件包准备就绪后,只需部署应用程序和模型即可。

用于读取、编译和转换的模型

以下是用于转换、读取和编译的模型。

Read_model

  • 从文件构建 ov.Model。
  • 支持的文件格式:ONNX、OpenVINO IR、PaddlePaddle、TensorFlow Lite 和 TensorFlow。不直接支持 PyTorch 文件。
  • OpenVINO 文件可直接读取,而其他格式则会自动转换。

Compile_model

  • 从文件或 ov.Model 对象构造 ov.CompiledModel。
  • 支持的文件格式:OpenVINO IR、ONNX、
  • PaddlePaddle、TensorFlow 和 TensorFlow Lite。不直接支持 PyTorch 文件。
  • OpenVINO 文件可直接读取,而其他格式则会自动转换。

Convert_model

  • 从文件或 Python 内存对象构造 ov.Model。
  • 支持的文件格式为 PaddlePaddle、ONNX、TensorFlow Lite 和 TensorFlow。
  • 支持的框架对象:TensorFlow、PaddlePaddle 和 PyTorch。
  • 此过程仅在 Python API 中可用。
  • 将 ov.Model 保存为 OpenVINO IR 格式。
  • 默认将权重压缩为 FP16。
  • 此过程仅在 Python API 中可用。