如何使用 TensorFlow Serving 在 Python 中部署模型?
部署机器学习模型对于使 AI 应用程序发挥作用起着至关重要的作用,为了在生产环境中有效地为模型提供服务,TensorFlow Serving 提供了可靠的解决方案。当模型经过训练并准备好部署时,有效地为其提供服务以处理实时请求至关重要。TensorFlow Serving 是一个强大的工具,有助于在生产环境中顺利部署机器学习模型。
在本文中,我们将深入研究使用 TensorFlow Serving 在 Python 中部署模型所涉及的步骤。
什么是模型部署?
模型部署涉及使经过训练的机器学习模型可用于实时预测。这意味着将模型从开发环境转移到生产系统,以便它可以有效地处理传入的请求。 TensorFlow Serving 是专为部署机器学习模型而设计的专用高性能系统。
设置 TensorFlow Serving
首先,我们需要在系统上安装 TensorFlow Serving。按照以下步骤设置 TensorFlow Serving −
步骤 1:安装 TensorFlow Serving
首先使用包管理器 pip 安装 TensorFlow Serving。打开命令提示符或终端并输入以下命令 -
pip install tensorflow-serving-api
第 2 步:启动 TensorFlow Serving 服务器
安装完成后,通过运行以下命令启动 TensorFlow Serving 服务器 -
tensorflow_model_server --rest_api_port=8501 --model_name=my_model --model_base_path=/path/to/model/directory
将 `/path/to/model/directory` 替换为您训练模型的存储路径。
准备部署模型
在部署模型之前,需要将其保存为以下格式: TensorFlow Serving 可以理解。按照以下步骤准备部署模型 -
以 SavedModel 格式保存模型
在 Python 脚本中,使用以下代码以 SavedModel 格式保存训练好的模型 -
import tensorflow as tf # 假设 `model` 是您训练过的 TensorFlow 模型 tf.saved_model.save(model, '/path/to/model/directory')
定义模型签名
模型签名提供有关模型输入和输出张量的信息。使用 `tf.saved_model.signature_def_utils.build_signature_def` 函数定义模型签名。以下是示例 -
inputs = {'input': tf.saved_model.utils.build_tensor_info(model.input)} outputs = {'output': tf.saved_model.utils.build_tensor_info(model.output)} signature = tf.saved_model.signature_def_utils.build_signature_def( inputs=inputs, outputs=outputs, method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME )
保存带有签名的模型
要保存带有签名的模型,请使用以下代码 −
builder = tf.saved_model.builder.SavedModelBuilder('/path/to/model/directory') builder.add_meta_graph_and_variables( sess=tf.keras.backend.get_session(), tags=[tf.saved_model.tag_constants.SERVING], signature_def_map={ tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature } ) builder.save ()
使用 TensorFlow Serving 为模型提供服务
现在我们的模型已经准备好了,是时候使用 TensorFlow Serving 为它提供服务了。请按照以下步骤操作 -
与 TensorFlow Serving 建立连接
在 Python 脚本中,使用 gRPC 协议与 TensorFlow Serving 建立连接。这是一个例子 -
from tensorflow_serving.apis import predict_pb2 from tensorflow_serving.apis import prediction_service_pb2_grpc channel = grpc.insecure_channel('localhost:8501') stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
创建请求
要进行预测,请创建请求 protobuf 消息并指定模型名称和签名名称。这是一个例子 −
request = predict_pb2.PredictRequest() request.model_spec.name = 'my_model' request.model_spec.signature_name = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(data, shape=data.shape))
将 `data` 替换为您要进行预测的输入数据。
发送请求并获取响应
将请求发送到 TensorFlow Serving 并检索响应。这是一个例子 -
response = stub.Predict(request, timeout_seconds) output = tf.contrib.util.make_ndarray(response.outputs['output'])
`timeout_seconds` 参数指定等待响应的最长时间。
测试已部署的模型
为确保已部署的模型正常运行,必须使用示例输入对其进行测试。以下是测试已部署模型的方法 -
准备示例数据
创建一组与模型预期输入格式相匹配的示例输入数据。
向已部署模型发送请求
创建请求并将其发送到已部署模型。
request = predict_pb2.PredictRequest() request.model_spec.name = 'my_model' request.model_spec.signature_name = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(data, shape=data.shape))
评估输出
将部署模型的输出与预期输出进行比较。此步骤可确保模型做出准确的预测。
扩展和监控部署
随着预测需求的增加,扩展部署以处理大量传入请求至关重要。此外,监控部署有助于跟踪部署模型的性能和运行状况。考虑实施以下扩展和监控策略 -
扩展
使用多个 TensorFlow Serving 实例进行负载平衡。
使用 Docker 和 Kubernetes 等平台进行容器化。
监控
收集请求延迟、错误率和吞吐量等指标。
设置关键事件的警报和通知。
示例
以下是程序示例,展示了如何使用 TensorFlow 服务部署模型 -
import tensorflow as tf from tensorflow import keras # 加载训练好的模型 model = keras.models.load_model("/path/to/your/trained/model") # 将模型转换为 TensorFlow SavedModel 格式 export_path = "/path/to/exported/model" tf.saved_model.save(model, export_path) # 启动 TensorFlow 服务服务器 import os os.system("tensorflow_model_server --port=8501 --model_name=your_model --model_base_path={}".format(export_path))
在上面的例子中,您需要将"/path/to/your/trained/model"替换为您训练模型的实际路径。该模型将使用 Keras 的 load_model() 函数加载。
接下来,将模型转换为 TensorFlow SavedModel 格式并保存在指定的 export_path 中。
然后使用 os.system() 函数启动 TensorFlow Serving 服务器,该函数执行 tensorflow_model_server 命令。此命令指定服务器端口、模型名称(your_model)以及导出模型所在的基本路径。
请确保您已安装 TensorFlow Serving,并将文件路径替换为适合您系统的值。
所需输出
服务器成功启动后,即可提供预测服务。您可以使用其他程序或 API 向服务器发送预测请求,服务器将根据加载的模型以预测输出进行响应。
结论
总之,在生产环境中部署机器学习模型以利用其预测能力非常重要。在本文中,我们探讨了使用 TensorFlow Serving 在 Python 中部署模型的过程。我们讨论了 TensorFlow Serving 的安装、准备模型进行部署、提供模型以及测试其性能。通过遵循这些步骤,我们可以成功部署 TensorFlow 模型并进行精确的实时预测。