企业资料通过认证
您可以整天训练有监督的机器学习模型，但是除非您评估其性能，否则您永远无法知道模型是否有用。这个详细的讨论回顾了您必须考虑的各种性能指标，并对它们的含义和工作方式提供了直观的解释。
罗宾和山姆都开始为工科大学准备入学考试。他们俩共享一个房间，并在解决数字问题时付出了相同的努力。他们俩全年学习了几乎相同的时间，并参加了期末考试。令人惊讶的是，罗宾清除了，但萨姆没有清除。当被问到时，我们知道他们的准备策略有一个区别，即“测试系列”。罗宾加入了一个测试系列，他过去通过参加那些考试来测试他的知识和理解力，然后进一步评估他落后的地方。但是山姆很有信心，他只是不断地训练自己。
以相同的方式，如上所述，可以使用许多参数和新技术对机器学习模型进行广泛的训练，但是只要您跳过它的评估，就不能相信它。
假设您正在建立一个模型来检测一个人是否患有糖尿病。进行训练测试拆分后，您获得了长度为100的测试集，其中70个数据点标记为正（1），而30个数据点标记为负（0）。现在，让我为您的测试预测绘制矩阵：
在70个实际的阳性数据点中，您的模型预测64个点为正，6个点为负。在30个实际负点中，它预测3个正点和27个负点。
注意：在“真肯定”，“真否定”，“假肯定”和“假否定”表示法中，请注意，第二项（“正”或“负”）表示您的预测，而第一项则表示您预测的是对还是错。
如果您希望模型很聪明，那么模型必须正确预测。这意味着您的“正肯定”和“负否定”应尽可能高，同时，您需要将错误肯定和错误否定应尽可能少的错误降至最低。同样在比率方面，您的TPR和TNR应该很高，四川施克塞斯科技有限公司，而FPR和FNR应该非常低，
可能有人争辩说，不可能平等地照顾所有四个比率，因为最终没有一种模型是完美的。那我们该怎么办？
是的，它是真的。因此，这就是为什么我们要建立模型并牢记领域的原因。在某些领域要求我们将特定比率作为主要优先事项，即使以其他比率较差为代价。例如，在癌症诊断中，我们不能不惜一切代价错过任何阳性患者。因此，我们应该将TPR保持在最大值，将FNR保持在接近0的水平。即使我们预测有任何健康的患者被诊断出，也仍然可以，因为他可以进行进一步检查。
准确性是我们可以使用的最简单的性能指标之一。但是让我警告您，准确性有时会导致您对模型产生错误的幻想，因此您应该首先了解所使用的数据集和算法，然后才决定是否使用准确性。
平衡的：一个数据集，包含所有标签/类别几乎相等的条目。例如，在1000个数据点中，600个为正，400个为负。
不平衡：一种数据集，其中包含偏向特定标签/类别的条目的分布。例如，在1000个条目中，有990个为正面类别，有10个为负面类别。
假设您有一个不平衡的测试集，其中包含990（+ ve）和10（-ve）的1000个条目。最终，您以某种方式最终创建了一个糟糕的模型，该模型总是会因列车不平衡而始终预测“ + ve”。现在，当您预测测试集标签时，它将始终预测为“ + ve”。因此，从1000个测试设定点中，您可以获得1000个“ + ve”预测。然后你的准确性就会来
有某些模型可以像Logistic回归那样给出每个数据点属于特定类的概率。让我们来考虑这种情况：
如您所见，如果P（Y = 1）> 0.5，则预测为类1。当我们计算M1和M2的精度时，得出的结果相同，但是很明显，M1比M2好得多通过查看概率分数。
精度：这是真实阳性率（TP）与阳性预测总数的比率。基本上，它告诉我们您的正面预测实际上是正面多少次。
回想一下：它不过是TPR（上文所述的“真阳性率”）。它告诉我们所有正因素中有多少被预测为正。
为了理解这一点，让我们看这个例子：当您在百度中查询时，它返回40个页面，但是只有30个相关。但是您的朋友告诉您，该查询共有100个相关页面。所以它的精度是30/40 = 3/4 = 75％，而召回率是30/100 = 30％。因此，在这种情况下，精度是“搜索结果的有用程度”，召回率是“结果的完成程度”。
它是通过从模型给出的概率得分的反向排序列表中获取多个阈值而计算出的TPR（真正率）和FPR（假正率）之间的关系图。
为了回答这个问题，让我带您回到上面的表1。仅考虑M1模型。您会看到，对于所有x值，我们都有一个概率得分。在该表中，我们将得分大于0.5的数据点分配为类别1。现在，以概率分数的降序对所有值进行排序，并以等于所有概率分数的阈值一一取值。然后，我们将获得阈值= [0.96,0.94,0.92,0.14,0.11,0.08]。对应于每个阈值，预测类别，并计算TPR和FPR。您将获得6对TPR和FPR。只需绘制它们，您将获得ROC曲线。
蓝色虚线下方的区域是0.5。AUC = 0表示模型很差，AUC = 1表示模型完美。只要您模型的AUC分数大于0.5。您的模型很有意义，因为即使是随机模型也可以得分0.5 AUC。
非常重要：即使是从不平衡的数据集生成的哑模型，您也可以获得很高的AUC。因此，在处理不平衡的数据集时请务必小心。
注意：只要维持顺序，AUC与数值概率分数无关。只要所有模型在根据概率得分排序后给出相同顺序的数据点，所有模型的AUC都将相同。
假设某些x_1的p_1为0.95，某些x_2的p_2为0.55，并且符合1类条件的截止概率为0.5。然后两者都符合类别1的条件，但是p_2的对数损失将比p_1的对数损失大得多。
用R 2表示。在预测测试集的目标值时，我们会遇到一些误差（e_i），这是预测值与实际值之间的差。
假设我们有一个包含n个条目的测试集。众所周知，所有数据点都有一个目标值，例如[y1，y2，y3…….yn]。让我们将测试数据的预测值设为[f1，f2，f3，……fn]。
通过使用以下公式计算残差平方和，即所有误差（e_i）平方的总和，其中fi是第i个数据点的模型的预测目标值。
如果同时观察两个平方和的公式，则可以看到唯一的区别是第二项，即y_bar和fi。平方总和在某种程度上给我们一种直觉，即它仅与残差平方和相同，但预测值为[ȳ，ȳ，ȳ，…….ȳ，n次]。是的，您的直觉是正确的。假设有一个非常简单的均值模型，无论输入数据如何，均能每次预测目标值的平均值。
正如您现在所看到的，R²是一种度量，用于将模型与非常简单的均值模型进行比较，该均值模型每次均返回目标值的平均值，而与输入数据无关。比较有4种情况：
因此，简而言之，您应该非常了解您的数据集和问题，然后您始终可以创建一个混淆矩阵，并检查其准确性，精度，召回率，并绘制ROC曲线，并根据需要找出AUC。但是，如果您的数据集不平衡，请不要使用准确性作为度量。如果您想对模型进行更深入的评估，以使概率分数也得到权重，山东三泰非金属材料有限公司，请选择对数损失。