SageMaker - 监控和优化

在 SageMaker 中监控模型性能

监控机器学习模型是确保模型在生产部署时按预期执行的重要步骤。Amazon SageMaker 提供各种工具来监控模型、跟踪指标并检测随时间推移的性能下降。

SageMaker 模型监控器

SageMaker 模型监控工具持续实时跟踪模型的质量。它会监控传入数据是否存在任何类型的不一致，并在模型预测与预期不同时向您发出警报。此工具可确保您的模型始终保持准确可靠。

CloudWatch 集成

另一个监控工具是 CloudWatch。Amazon SageMaker 可轻松与 Amazon CloudWatch 集成，以实时收集、跟踪和可视化性能指标。它允许您配置自定义指标，例如准确性或延迟。

自动重新训练

SageMaker 还支持自动重新训练，允许您设置触发器以在满足某些条件时重新训练模型。通过自动重新训练，您可以确保您的模型与最新数据保持同步。

超参数调整和优化

超参数调整在实现 ML 模型的最佳性能方面起着重要作用。Amazon SageMaker 的超参数优化功能允许您自动搜索模型的最佳超参数组合。

在 SageMaker 中实施超参数调整

SageMaker 的自动超参数调整也称为超参数优化 (HPO)。它可以帮助您通过运行具有不同参数组合的多个训练作业来识别最佳超参数。

示例

下面给出了 SageMaker 中超参数调整的基本 Python 代码示例 −

from sagemaker.tuner import HyperparameterTuner, ContinuousParameter

# 定义需要调整的超参数
hyperparameter_ranges = {
    'eta': ContinuousParameter(0.01, 0.2),
    'max_depth': ContinuousParameter(3, 10)
}

# Set up the tuner
tuner = HyperparameterTuner(
    estimator=xgboost_estimator,
    objective_metric_name='validation:accuracy',
    hyperparameter_ranges=hyperparameter_ranges,
    max_jobs=10,
    max_parallel_jobs=2
)

# 开始调优工作
tuner.fit({"train": train_input, "validation": validation_input})