二分类评判指标

  • Precision:TP/(TP+FP),分类器预测出的正样本中,真实正样本的比例
  • Recall:TP/(TP+FN),在所有真实正样本中,分类器中能找到多少
  • Accuracy:(TP+TN)/(TP+NP+TN+FN),分类器对整体的判断能力,即正确预测的比例

 

(1)真正类率(True Postive Rate)TPR: TP/(TP+FN),代表分类器预测的正类中实际正实例占所有正实例的比例。Sensitivity

(2)负正类率(False Postive Rate)FPR: FP/(FP+TN),代表分类器预测的正类中实际负实例占所有负实例的比例。1-Specificity

(3)真负类率(True Negative Rate)TNR: TN/(FP+TN),代表分类器预测的负类中实际负实例占所有负实例的比例,TNR=1-FPR。Specificity

假设采用逻辑回归分类器,其给出针对每个实例为正类的概率,那么通过设定一个阈值如0.6,概率大于等于0.6的为正类,小于0.6的为负类。对应的就可以算出一组(FPR,TPR),在平面中得到对应坐标点。随着阈值的逐渐减小,越来越多的实例被划分为正类,但是这些正类中同样也掺杂着真正的负实例,即TPR和FPR会同时增大。阈值最大时,对应坐标点为(0,0),阈值最小时,对应坐标点(1,1)。

如下面这幅图,(a)图中实线为ROC曲线,线上每个点对应一个阈值。

 

横轴FPR:1-TNR,1-Specificity,FPR越大,预测正类中实际负类越多。

纵轴TPR:Sensitivity(正类覆盖率),TPR越大,预测正类中实际正类越多。

理想目标:TPR=1,FPR=0,即图中(0,1)点,故ROC曲线越靠拢(0,1)点,越偏离45度对角线越好,Sensitivity、Specificity越大效果越好。

参考文章:https://www.cnblogs.com/shixisheng/p/7388459.html

LSTM(长短期记忆网络)是一种递归神经网络,常用于处理序列数据,如自然语言处理中的文本生成、机器翻译等任务评判LSTM模型性能的好坏通常会考虑以下几个指标: 1. **准确率(Accuracy)**:对于分类任务,这是最基本的评价标准,表示模型正确预测的样本比例。 2. **精确率(Precision)**:衡量模型预测为正例中真正为正例的比例,反映了模型在预测正例时的准确性。 3. **召回率(Recall)**:衡量实际为正例中被模型正确识别为正例的比例,体现了模型找到所有正例的能力。 4. **F1分数(F1 Score)**:综合了精确率和召回率,是二者的调和平均数,能够平衡精度和召回率之间的权衡。 5. **损失函数(Loss)**:训练过程中模型优化的目标函数,比如交叉熵损失,越低表示模型拟合得越好。 6. **困惑度(Perplexity)**:用于评估语言模型的性能,越低说明模型对未知数据的预测能力越好。 7. **AUC-ROC曲线和AUC值**:用于评估二分类模型或概率预测模型的性能,AUC值越接近1,模型性能越好。 8. **R²分数(Coefficient of Determination, R-squared)**:回归任务中,衡量模型解释变量之间变异性的百分比。 9. **序列预测的连续性指标**:如果LSTM用于生成序列,可能还会关注预测序列的流畅性和一致性。 在评估LSTM时,应根据具体任务选择合适的指标,并结合混淆矩阵、学习曲线和可视化结果来进行综合判断。同时,验证集和测试集的结果也很重要,防止过拟合或欠拟合。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值