44、用于不平衡多标签文本分类的BBSN模型解析

用于不平衡多标签文本分类的BBSN模型解析

1. 模型架构概述

为了解决多标签文本分类任务中的数据不平衡问题，提出了一种统一的模型BBSN，它采用了多任务架构。该架构主要由双边分支网络（Bilateral - Branch Network）和两个孪生网络（Siamese Networks）组成。以下是其具体结构：
- 从左到右，第一和第二分支构成一个孪生网络，用于提升模型的表征学习能力；第三和第四分支组成另一个孪生网络。
- 第二分支和第三分支组合成双边分支网络，其中第二分支被称为“常规学习分支”，用于学习通用模式；第三分支被称为“重平衡分支”，用于学习尾部数据。
- 每个分支具有相同的网络结构，并共享编码器参数。
- 采样器是该方法的重要组成部分，用于控制学习过程中对通用模式或尾部数据的关注。考虑了均匀采样和重平衡采样两种方法。

2. 数据采样方法

采用了两种采样方法，分别是均匀采样器和反向采样器：
- 均匀采样器 ：专注于通用模式学习，保留原始数据分布，训练数据集中的每个实例仅被采样一次。
- 反向采样器 ：为了更多地关注尾部数据而应用。每个类别的采样可能性与其样本大小的倒数成正比。具体计算公式如下：
设类别 $j$ 的样本数量为 $N_j$，所有类别中的最大样本数量为 $N_{max}$，则类别 $j$ 的采样可能性 $P_j$ 为：
$P_j = \frac{w_j}{\sum_{k = 1}^{|C|} w_k}$
其中 $w_j = \frac{N_{max}}{N_j}$。根据 $P_j$ 随机采样