16、基于熵权约束的短文本稀疏表示分类器研究

基于熵权约束的短文本稀疏表示分类器研究

1. 字典过滤

稀疏表示学习的一个关键原则是字典必须从输入数据中推断得出。然而，字典中相同训练样本之间存在很大的相关性和冗余性。因此，选择一个具有判别性的良好子集来过滤字典至关重要。这里使用一种快速特征子集选择算法来过滤稀疏表示字典。具体操作步骤如下：
1. 设 $n_l$ 为第 $l$ 类短文本的数量，首先使用 Word2vec 模型将每个类表示为固定长度为 $k$ 的特征向量，即 $Word2vec(l)$。
2. 对于第 $l$ 类，计算每个短文本 $d_i$ 与类特征向量的相似度：
- 计算公式为 $S(d_i, l) = exp(-||V(d_i), word2vec(l)||^2)$，其中 $d_i \notin l$。
- 如果 $S(d_i, l)$ 小于预定阈值 $h$，则认为 $d_i$ 是与第 $l$ 类无关的短文本，将这些短文本剔除。最终，第 $l$ 类的相关短文本表示为 $l’ = {d_1, d_2, \ldots, d_{n_l’}}$。
3. 消除每类中的冗余短文本，这涉及三个步骤：
- 构建完全图 $G$ ：对于 $l’$ 类，用所有相关短文本构建一个无向完全图 $G = (V, E)$。其中，$V = {d_i|d_i \in l’ \land i \in [1, n_l’]}$，相关短文本的相似度值作为边的权重；$E = {(d_i, d_j)|d_i, d_j \in l’ \land i, j \in [1, n_l’] \land i \neq j}$。
- 生成最小生成树 $MST$ ：使用