OpenVINO - 工作流程
在本章中,我们将了解 OpenVINO 工作流程以及读取、编译和转换 OpenVINO 的方法。
OpenVINO 工作流程
以下是 OpenVINO 工具包的分步程序(工作流程) −
步骤 1:规划和设置
确定必要的配置。然后,确定模型类型和框架。
步骤 2:选择模型
在此步骤中,从 Open Model Zoo 中查找或训练模型,然后检查模型是否足够准确。如果模型不准确,请重新训练它。
步骤 3:修改
运行模型优化器将模型转换为中间表示,并检查模型是否转换成功。如果没有,请修复错误或创建自定义层。如果这不起作用,请升级到英特尔支持或尝试其他模型。现在,我们将进入下一步:调整。
步骤 4:调整
现在在模型上运行推理引擎,并检查它是否足够快且准确度可接受。如果没有,请尝试对模型进行高级调整。如果高级调整也不起作用,请尝试基于硬件的干预或训练扩展。
步骤 5:部署
在此步骤中,将模型集成到管道或应用程序中。软件包准备就绪后,只需部署应用程序和模型即可。
用于读取、编译和转换的模型
以下是用于转换、读取和编译的模型。
Read_model
- 从文件构建 ov.Model。
- 支持的文件格式:ONNX、OpenVINO IR、PaddlePaddle、TensorFlow Lite 和 TensorFlow。不直接支持 PyTorch 文件。
- OpenVINO 文件可直接读取,而其他格式则会自动转换。
Compile_model
- 从文件或 ov.Model 对象构造 ov.CompiledModel。
- 支持的文件格式:OpenVINO IR、ONNX、
- PaddlePaddle、TensorFlow 和 TensorFlow Lite。不直接支持 PyTorch 文件。
- OpenVINO 文件可直接读取,而其他格式则会自动转换。
Convert_model
- 从文件或 Python 内存对象构造 ov.Model。
- 支持的文件格式为 PaddlePaddle、ONNX、TensorFlow Lite 和 TensorFlow。
- 支持的框架对象:TensorFlow、PaddlePaddle 和 PyTorch。
- 此过程仅在 Python API 中可用。
- 将 ov.Model 保存为 OpenVINO IR 格式。
- 默认将权重压缩为 FP16。
- 此过程仅在 Python API 中可用。