编写机器学习程序来检查模型准确性
简介
本文讨论了机器学习中模型的概念、模型的各种形式以及如何评估其准确性。它解释了准确性作为机器学习中使用的常见评估指标及其局限性，并提供了一个 Python 程序示例，演示了如何检查机器学习模型的准确性。本文还解释了模型准确性作为分类模型的性能指标及其在评估模型整体性能方面的实用性，同时提醒在某些情况下其他指标可能更合适。
机器学习中的模型
在机器学习中，模型是系统、过程或连接的数学表示，可用于根据数据产生预测或结论。检查传入数据的连接和模式，然后使用这些模式预测或做出有关新数据的决策。
各种模型的几个例子是决策树、线性回归模型、神经网络或支持向量机。使用哪种模型将取决于问题的性质和数据的特征。
模型预测或分类训练期间未见过的新数据的有效性通常用于评估其质量。为了开发性能最佳的模型，必须选择正确的方法以及正确的特征和超参数。
准确性
机器学习中用于评估分类模型有效性的常用评估统计数据是准确性。它被描述为正确分类的案例占数据集中所有事件的比例。
换句话说，准确性是模型基于测试数据生成的准确预测的比例。例如，如果模型在 100 次测试事件中产生 90 次准确预测，则模型的准确率为 90%。
虽然准确率是一种常用的统计数据，但它也存在某些缺点。它假设每个类别都同样重要，错误分类一个类别会导致相同的经济损失。根据具体问题和与各种错误相关的成本，准确率、召回率、F1 分数或 AUC(ROC 曲线下面积)等其他指标在某些情况下可能更合适。
模型准确率
模型准确率是一种统计数据，用于评估模型准确预测任务结果的频率。它是正确预测的事件占所有预测事件的比例。分类模型的准确率(其目的是预测每个输入实例的类别标签)经常用作机器学习中的性能统计数据。
以二元分类问题为例，其目标是预测消费者是否会购买产品。客户特征和以前的购买历史的集合用于训练模型。当模型在新的一批客户数据上运行时，测试集中的每个客户都会收到一个预测。准确预测的数量除以预测总数代表模型的准确性。
一般来说，准确性是评估模型整体性能的一个很好的指标。然而，在其他情况下，它可能具有欺骗性。例如，如果数据集中的类别不平衡(即一个类别明显比另一个类别更频繁)，那么一个只预测每个输入实例的多数类别的模型可能会获得较高的准确度，即使它在生成预测方面做得并不好。在某些情况下，评估模型性能的不同指标，如准确度、召回率或 F1 分数，可能更适用。
这是一个简单的 Python 程序，演示了如何检查机器学习模型的准确性:
示例
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.datasets import make_classification
# 生成用于分类的合成数据
num_samples = 20000
X, y = make_classification(n_samples=num_samples, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1)
# 将数据拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=35)
# 训练逻辑回归模型训练集
model = LogisticRegression()
model.fit(X_train, y_train)
# 对测试集进行预测
y_pred = model.predict(X_test)
# 检查模型的准确性
accuracy = accuracy_score(y_test, y_pred)
print("模型准确性:", accuracy)
输出
模型准确性:0.9153333333333333
在此图中，数据最初加载到 pandas 数据框中。然后使用 scikit-learn 中的训练测试拆分函数将数据分为训练集和测试集。
然后使用 scikit-learn 中的 LogisticRegression 类在训练数据上构建逻辑回归模型。一旦模型训练完成，我们就会利用预测技术对测试集进行预测。
然后使用 scikit-learn 中的准确度得分函数来确定模型的准确度。测试集的实际标签 (y test) 和预测标签 (y pred) 是此方法的两个参数。会产生一个介于 0 和 1 之间的浮点数，值越大表示精度越高。
请务必记住，准确度只是评估机器学习模型表现的一个参数。根据您尝试解决的问题，其他指标可能更合适。例如，如果数据集中的类别不平衡，准确度可能不是性能的准确指标。其他指标(例如准确度、召回率或 F1 分数)在某些情况下可能更有帮助。
结论
能够预测未来或根据数据做出选择的系统、方法或连接在数学上表示为机器学习中的模型。分类模型的准确性经常被评估，尽管准确性有几个缺点，可能不是最好的评估指标。
