理解准确率和召回率

1 混淆矩阵解释

2 召回率和准确率定义

$$召回率(Recall)=\frac{系统检索到的相关文件}{系统所有相关的文件总数}=\frac{正确预测为狗的个数}{系统真实是狗的个数}$$

$$准确率(Precision)=\frac{系统检索到的相关文件}{系统所有检索到的文件总数}=\frac{正确预测为狗的个数}{预测模型预测为狗的个数}$$

$$F=\frac{2PR}{P+R}$$
数理统计中的准确率(Precision)是我们传统理解的准确率。是站在预测模型本身角度讲的。召回率是站在系统原始本身个数角度来讲的。

3 混淆矩阵

假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生.现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了.作为评估者的你需要来评估(evaluation)下他的工作。

场景——班级有男的和女的两类，某人(也就是定义中所说的分类器)他又把班级中的人分为男女两类

准确率(accuracy),其定义是: 对于给定的测试数据集，分类器正确分类的样本数与总样本数之比

混淆矩阵：

	女	男
女	20	0
男	30	50

【注意】混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目，每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。

		预测类别	预测类别
		女	男	总计	类别召回率
真实类别	女	20	0	20	100%
真实类别	男	30	50	80	62.5%
	总计	50	50	100
	类别准确率	40%	100%		模型准确率=70/100=70%

他把其中70(20女+50男==对角线)人判定正确了,而总人数是100人，所以总的的模型准确率accuracy=70/100 = 0.7

【解释】假设认人，想认识女的，女的全认来和认对了，女的召回率则满分，虽然你把全部女的都认出来了，但是你还把一部分男的认成女的了，那认女的准确率就没有是100%了。

Reference

[1] 准确率与召回率