分类模型评估利器-混淆矩阵

相关文章

地理时空动态模拟工具介绍(上)
地理时空动态模拟工具介绍(下)地理时空动态模拟工具的使用方法

前言

混淆矩阵(Confusion Matrix)是机器学习领域中用于评估分类模型性能的一种工具。它通过矩阵的形式,将模型的预测结果与实际分类进行比较,从而可以直观地展示分类模型的性能及精度。通常,混淆矩阵用于二分类问题(例如是否患有某种疾病),但是在GIS的分类模型中,多分类问题更为常见(例如多种土地利用类型)。

01 混淆矩阵的类别介绍

二分类混淆矩阵

对于二分类问题,混淆矩阵包含四个主要部分:

1. True Positive (TP):模型正确预测为正类的实例数量。(真阳性)

2. False Positive (FP):模型错误预测为正类(实际上是负类)的实例数量。(假阳性)

3. False Negative (FN):模型错误预测为负类(实际上是正类)的实例数量。(假阴性)

4. True Negative (TN):模型正确预测为负类的实例数量。(真阴性)

二分类混淆矩阵的结构如下:

实际正类

实际负类

预测正类

TP

FP

预测负类

FN

TN

多分类混淆矩阵

多分类混淆矩阵的每行代表预测类别,每列代表实际类别,对角线上的值表示正确分类的数量,非对角线上的值表示错误分类的数量。

例如,对于一个有3个类别(A、B、C)的多分类问题,混淆矩阵的结构如下:

实际为A

实际为B

实际为C

预测为A

a11

a12

a13

预测为B

a21

a22

a23

预测为C

a31

a32

a33

其中a11、a22、a33为正确的分类。类别还可以更多。同样,多分类矩阵将非对角线上的值进行合并,也可得到二分类中的TP、FP、TN、FN等相关值。

02 混淆矩阵的扩展

通过混淆矩阵,我们可以计算出多种评估指标,例如:

• 准确率(Accuracy):(TP + TN) / (TP + TN + FP + FN)

• 精确率(Precision):TP / (TP + FP)

• 召回率(Recall):TP / (TP + FN)

• F1分数(F1-Score):2 * (Precision * Recall) / (Precision + Recall)

这些指标可以帮助我们更加全面评估模型的性能,更常用于深度学习等方法中。

03 如何读懂GeoScene Pro中的混淆矩阵

Pro中的混淆矩阵,除有分类之外,还会包含U_Accuracy、P_Accuracy以及kappa系数等信息。以下表为例。

实际

预测

C_1

C_2

C_3

总计

U_Accuracy

kappa

C_1

49

4

4

57

0.8594

0

C_2

2

40

2

44

0.9091

0

C_3

3

3

59

65

0.9077

0

总计

54

47

65

166

0

0

P_Accuracy

0.9074

0.8511

0.9077

0

0.8916

0

kappa

0

0

0

0

0

0.8357

矩阵中共有3类样本。对角线上预测全部正确的共有49+40+59个样本,总数量为166,其交并比(IoU)为148/166=0.8916。

U_Accuracy字段叫做用户精度,也叫错分误差,表示预测中其他类被错分为成指定类。以第一行为例, 49个1类判断正确,4个实际为2类以及4个实际为3类的样本被错误判断为1类,1类的U_Accuracy为49/57。

P_Accuracy字段叫做制作者精度,也叫漏分误差,表示预测中指定类错报成其他类。以第一列为例,其中49个1类判断正确,2个实际为1类的样本错报成2类,3个实际为1类的样本错报成3类,1类的P_Accuracy为54/57。

表中的0.8916为整体精度。

kappa系数为0.8357,它是混淆矩阵的核心,用于整体评估分类的精度。

其公式如下:

是每一类正确分类的样本数量之和除以总样本数,即上文中提及的交并比=0.8916。

的计算公式如下:

各类实际样本数量为

,预测样本数量为

,总样本数量为n,类别总数为C。

的实际计算方法为

在带入Kappa公式

在分类模型精度评估中,Kappa指数如果大于0.75,就可以认为该模型整体精度比较高,预测结果可信。

04 如何在GeoScene Pro软件中计算混淆矩阵

上一节中我们已经了解到混淆矩阵主要用在分类问题中,用于对比预测和实际类型,从而计算分类结果的精度。在Pro中共计三步来完成混淆矩阵的计算。

第一步:使用创建精度评估点工具构建随机点。

创建精度评估点工具可以创建随机采样点,用于分类后精度评估,同时还可以将预测数据或实际数据的分类结果提取至采样点中。

创建精度评估点工具

该工具中的“输入栅格数据或要素类数据”可以是预测或实际类型数据本,需要注意必须与“目标字段”参数对应。

第二步:使用更新精度评估点工具补充随机点属性。

更新精度评估点工具可以选择实际或预测类型数据,也必须与“目标字段”参数对应。

更新精度评估点工具

上述两步运行完成后,打开精度评估点的属性表,包含Classfied字段(预测分类属性),GrndTruth字段(实际分类属性)。

精度评估表的属性表

第三步:使用计算混淆矩阵工具计算结果。

计算混淆矩阵工具

即可得到混淆矩阵。

混淆矩阵表

为简化上述步骤,还可以将上述工具制作成模型构建器。

混淆矩阵模型构建器

进一步还可以将模型构建器进行封装,制作成地理处理工具。

混淆矩阵综合工具

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值