文本挖掘与分析第五周学习笔记2--评估文本分类结果

如何评估分类结果：

方法：Cranfield创造检验校正：
ground truth:可以重复检验不同的系统，进行比较。
比较系统分类的结果
比较系统决策：哪个文档应该属于哪个分类；作者设定了哪些分类给文档
量化决定的相似度；等价衡量系统输出和理想输出之间的不同
比较方法时可以不考虑误差差异，允许误差的存在。

分类正确率：衡量正确决定率的基础

人决定：正确（+）；错误（-）
系统决定：正确（Y）；错误（N）
分类正确率=人决定和系统决定相同的个数/总的决定个数=Y（+）+N（-）/KN
分类正确率越大越好

缺点：
平均审视每一个决定：错误的种类可能不同，不能平均审视。例如：合法邮件被丢弃远比垃圾邮件被接收更令人无法接受，因为垃圾邮件还是可以接受收到。

所以使用分类正确率作为准则，要确保分类上司平衡的。

使用其他角度方法：精