网站域名的作用,石家庄新闻记者求助电话,群晖 建站 Wordpress,app拉新一手渠道一、混淆矩阵
1.混淆矩阵的介绍
混淆矩阵有两个定义positive#xff08;正例#xff09;和negative#xff08;反例#xff09;。分别代表模型结果的好和坏。
下图就是一个分类问题的混淆矩阵。横行代表真实的情况#xff0c;而竖行代表预测的结果。 为了便于理解…一、混淆矩阵
1.混淆矩阵的介绍
混淆矩阵有两个定义positive正例和negative反例。分别代表模型结果的好和坏。
下图就是一个分类问题的混淆矩阵。横行代表真实的情况而竖行代表预测的结果。 为了便于理解我在这里举一个分出瓜的好坏的分类问题。
TPTrue Positive真正例。表示这个瓜实际上是一个好瓜预测出来的结果也是好瓜所以它是一个真的好瓜是一个真正例。预测结果正确。
FPFalse Positive假正例。表示这个瓜本身是一个坏瓜预测结果却是一个好瓜所以它是一个假的好瓜是一个假正例。预测结果错误。
FNFalse Negative假反例。表示这个瓜本身是一个好瓜预测结果是坏瓜所以它是一个假的坏瓜是一个假反例。预测结果错误。
TNTruen Negative真反例。表示这个瓜本身是一个坏瓜预测结果也是一个坏瓜所以它是一个真的坏瓜是一个真反例。预测结果正确。
需要明确明确T和F代表模型预测结果的对错P和N代表模型预测出来的结果。
接下来我们举个例子便于我们学习混淆矩阵指标准确率、精准率和召回率。
有100个瓜实际上由40个好瓜60个坏瓜。但是模型预测出来的结果为50个好瓜50个坏瓜。在这50个好瓜里面有30个预测对了有20个预测错了。 此时预测的50个好瓜里面30个预测对了即真好瓜TP20个预测错了即假好瓜。 所以TP 30FP 20。 我们可以知道40个好瓜真的好瓜预测错的坏瓜60个坏瓜 真的坏瓜假的好瓜。如下图 根据以上式子我们计算出了混淆矩阵所有的值。 根据以上条件我们能够写出混淆矩阵。 我们期待的结果是预测结果和真实结果相一致但是往往不太可能所以我们需要评估的好坏这里我们需要用到混淆矩阵的指标准确率、精确率、召回率。
2.准确率
准确率是预测准确的样本数在所有预测样本数的比例。在我们这里就是预测的真的好瓜和真的坏瓜在总瓜数的占比。
准确率的计算公式为
通过准确率我们可以看出模型的分类能力。
但是准确率的弊端是如果在样本不均衡的情况下占比大的对样本的影响比较大。
考虑一个极端的例子其中有100个样本其中99个属于类别A1个属于类别B。如果一个模型将所有样本都预测为类别A那么它的分子中预测准确的A样本为99预测准确的B样本为0除以分母100。
准确率将是99%。尽管准确率很高但模型对于类别B的预测几乎完全失败。所以这是不对的。
这种情况下我们需要借助精准率precision。
3.精确率
精准率precision是用来计算模型预测的多准的指标又名查准率。
精准率的计算公式为
精确率关注的是在所有模型认为是正类别的样本中有多大比例是真实的正类别。因此精确率通常被解释为模型有多准确地查准了正类别即模型有多能够确保它的正类别预测是准确的。
在一些应用中比如垃圾邮件过滤我们希望模型尽可能地准确地标识出正类别即真正的垃圾邮件同时避免将负类别即正常邮件错误地分类为正类别。在这种情况下我们希望精确率尽可能高以确保模型的正类别预测是可靠的。
3.召回率
如果说精确度是模型预测的多准的指标那么召回率就是模型广度的指标又被称为查全率。
召回率的计算公式为
公式表示需要分类的类别在实际的该种类总数中占比多少。好瓜在实际好瓜的总数是多少。所以召回率查全率是指模型在多大程度上能够预测出我需要的类别。
比如说我有100个好瓜你识别出50个那么你的就在识别出我所需要的类别的能力就有50%。
在实际的评估工作中我们通常使用精确率和召回率来评估模型的效果。通过召回率看找到了多少我们想要找的好瓜通过精确率来看我们找好瓜有多准。
召回率关注的是在实际为正类别的样本中模型有多大程度地能够成功地识别出来。因此召回率通常被解释为模型有多好地查找或捕捉了正类别即模型有多能够找到所有实际存在的正类别样本。
在一些应用中如医学诊断或欺诈检测对于正类别的遗漏是不可接受的因为这可能导致严重的后果。在这种情况下我们希望模型的召回率尽可能高以确保尽可能多地捕捉到所有真实的正类别。
由于精确率和召回率相互矛盾。模型如果想要查找的更准确会减少识别的范围所以精准率高召回率低反之如果想要召回率高一点那么精确率也会随之下降。
所以我们一般给算法同学提需求的时候会同时考虑。比如30%的召回率下精准率提升5倍。
4.F1值
F1指标可以综合反映召回率和精准率F1值越高代表模型在精确率和召回率的综合表现越高。
F1的计算公式
5.总结
准确率比较容易理解在样本不均衡的时候指标偏差过大。
精确率模型预测的准确度。宁肯不预测也不能预测错秉持宁缺毋滥的原则。比如在刷脸支付的场景下我们宁可检测不通过而不能预测出错。
召回率关注筛选的结果是不是全面的场景秉持宁可错杀一千也不放过一个的原则。 PS如果对于这几个指标还是不明白推荐大家看这篇博文讲的比较清晰。
准确率精准率召回率真正率假正率ROC/AUC-CSDN博客
参考文献 刘海丰——《成为AI产品经理》
