信息检索技术新进展:分层判别分析、专利图像检索与芬兰语关键词变体生成
分层判别分析(sDA)在文档分类中的应用
sDA模型性能优势
在文档分类任务中,训练样本的稀缺性对分类方法的性能有着显著影响。研究对比了FFT、HFT和sDA三种模型在不同训练样本数量下的性能表现,具体通过绘制精度、召回率和F1值与训练集中正样本数量的关系图(如图1所示)。
从图中可以清晰看出,对于训练样本较少(4 - 6个,占总类别数超40%)的类别,sDA模型的性能优于FFT和HFT模型。尤其是当只有4个文档时,sDA模型达到最佳性能。这表明sDA所涉及的变换非常适合为训练样本较少的类别构建简化表示。随着可用训练文档数量的增加,所有模型的性能都会提高。FFT和HFT模型在使用更多训练文档时表现更好,因为它们能够利用大量的单词分布特征进行更好的泛化,但即便如此,sDA模型的性能仍然具有竞争力。
sDA模型的优势总结
sDA是一种利用层次结构知识从文档的单词特征中提取压缩特征的新型特征提取技术。与使用直接单词分布作为特征的平面分类模型和层次分类模型相比,sDA模型具有以下优势:
1. 性能更佳 :在精度、召回率和F1值方面表现更优。
2. 计算可行 :能够保持合理的计算时间。
3. 类别分离
超级会员免费看
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



