bert 是单标签还是多标签 的分类_基于深层神经网络的多标签分类问题的高层特征和标签提取...

1 摘要

在深层神经网络中，池层有助于减少冗余和参数数量，而不需要执行额外的学习过程。虽然这些运算符能够处理单标签和多标签问题，但它们的具体目标是减少特征空间，因此对于多标签数据，这也应该在标签空间中完成。另一方面，现有的池操作符在处理没有明确拓扑结构的(多标签)数据集时并不理想。针对多标签分类问题，本文提出了一种基于双向关联的混合层的深层神经网络结构，用于提取高层特征和标签。论文使用了一个关联函数来检测不同的神经元对，将这些神经元聚集成混合神经元。在第一层，提出计算变量之间的皮尔逊相关性作为量化关联值的基础。此外，论文提出了一个迭代过程，允许估计在更深层次的混合神经元之间的关联度，而不需要重新计算相关矩阵。这种深层神经结构的主要优点是，它允许在没有特定拓扑组织的情况下提取数据集上的高级特征和标签。数值模拟实验结果表明，文章的双向神经网络有助于减少问题特征和标签的数量，同时保持网络的分类能力。

2 引言

在传统的监督式学习算法中，实例通常与一个标签相关联，因此每个观察结果都属于一个决策类。而多标签数据的显著特点是每个实例可以同时属于多个类。多标签分类任务主要是通过分析训练集来预测未知实例的标签集。这个学习的概念出现在许多现实世界的情况中。例如，一个基因在酵母基因功能分析中可能有多个功能，一幅图像可能与自然场景分类中的一组标签相关，而一个文档可能在自动网页分类中属于几个预先确定的主题。多标签问题往往是高维的，特征提取有助于降低建立和开发多标签分类算法的复杂度。深度学习的任务之一就是从可用数据中学习高级特性，这些高级特征表示能够加快学习速度的信息颗粒。在多标签分类的情况下，仅提取高层特征是不够的，因为这些问题通常涉及大量的标签。

一些作者在深度学习技术的启发下提出了多标签分类解决方案。其中一些解决方案依赖于自动编码器，这些方案考虑到了非监督式学习的特性。利用这种方法，可以有效地提取任何给定数据的底层特征，从而得到编码良好的减少的数据集。同时，其他作者依靠卷积神经网络(CNNs)来解决预测问题，如图像处理，声音，文本和视频。CNNs混合使用卷积、池和标准处理层来捕获描述问题的抽象特征。卷积层的作用是检测来自前一层的