CatBoost - 模型评估指标
在创建机器学习模型时，有效的评估是必要的，以确保模型的性能满足日益增长的标准和要求。Yandex 的 CatBoost 是一个强大的梯度提升库，它为数据科学家和机器学习专业人员提供了一组指标来评估其模型的有效性。
CatBoost 以轻松、准确和有效地处理分类特征而闻名。由于其惊人的准确性，它是现实场景中大量机器学习任务的首选。
但模型的真正价值不仅取决于其算法，还取决于其实际性能。在这种情况下，指标很有用。CatBoost 为模型评估提供的两个核心函数是"evaluate ()"和"eval_metric"。这些函数涵盖了广泛的功能。但 CatBoost 提供的不仅仅是这些。
CatBoost 指标
CatBoost 指标用于评估使用机器学习技术 CatBoost 创建的模型的性能。这些指标有助于我们了解模型预测的质量和准确性。以下是一些常见的 CatBoost 指标及其解释 −
准确度
准确度是评估分类模型性能的广泛使用的参数。它评估模型对给定数据集的预测百分比的准确度。
对于二元分类，准确度如下 −
Accuracy = {TP + TN}/{TP + TN + FP + FN}
此处，
TP():准确预测为阳性或正确归类为属于特定类别的病例数称为真阳性或 TP。
TN():准确预测为阴性或正确识别为不属于特定类别的病例数称为真阴性或 TN。
FP():被错误计算为阳性的病例数量，即被错误归类为特定类别的病例数量称为假阳性或 FP。
FN():被估计为阴性、被错误归类为不属于特定类别的病例数量称为假阴性或 FN。
多类对数损失
多类对数损失，也称为交叉熵损失或对数损失，是一种常用指标，用于衡量分类模型在多类场景中的表现。它计算真实类别标签与每个实例的预期类别概率之间的差异。
多类对数损失在数学上表示如下 −
多类对数损失 = - (1 / N) Σi=1N Σj=1M [ yij * log(pij) ]
这里，
N:样本(或数据点)的数量。
M:类别的数量。
yij:一个二进制指示符(0 或 1)，表示样本 i属于类j。如果样本属于该类，则为 1，否则为 0。
pij:样本i属于类j的预测概率。
二分类对数损失
二分类对数损失是一种常用的数据，用于评估二分类算法的性能。它也被称为逻辑损失或交叉熵损失。它计算每个实例的预期概率与真实二分类标签之间的差异。
二分类对数损失的数学表示如下 −
Binary Log Loss = - (1 / N) Σi=1N [ yi * log(pi) + (1 - yi) * log(1 - pi) ]
此处，
N:样本(或数据点)的数量。
yi:二进制指标(0 或 1)，表示样本 i 是正(1)还是负(0)。
pi:样本 i 属于正类(第 1 类)的预测概率。
log:自然对数。
AUC-ROC(接收者操作特性下面积)
接收者操作特性 (ROC) 曲线以图形方式显示了二元分类模型在一系列阈值上的有效性。在各种概率水平上，它绘制了真实阳性率 (TPR) 与假阳性率 (FPR) 的关系。
ROC 曲线下的面积或 AUC-ROC 可以按以下方式计算 −
真实阳性率 (TPR):它也称为敏感度或召回率，计算为 −
TPR = 真实阳性 (TP) / [真实阳性 (TP) + 假阴性 (FN)]
假阳性率 (FPR):它按以下方式计算 −
FPR = 假阳性 (FP) / [假阳性 (FP) + 真阴性 (TN)]
ROC 曲线: ROC 曲线以各种阈值绘制，y 轴为 TPR，x 轴为 FPR。
AUC 计算:提供此功能的软件库或数值方法可用于计算 ROC 曲线下的面积。
F1 分数
召回率(敏感度)和准确率(阳性预测值)合并为一个分数，即 F1 分数，这是二元分类问题中一种流行的指标，可在两者之间找到平衡。
F1 分数可以用数学方式表示如下 −
F1 = F1 = 2.Precision.Recall / (Precision + Recall)
