19、文本向量空间模型中的度量与应用

文本向量空间模型中的度量与应用

1. TF - IDF 归一化

在处理文本时，为避免不同文本段长度带来的 TF - IDF 得分差异，可使用欧几里得范数（L2 - 范数）对集合中每个文档的 TF - IDF 得分进行归一化。代码如下：

for k = 1:length(verses)
    ntfidfmtx(:,k) = tfidfmtx(:,k)/norm(tfidfmtx(:,k));
end

验证归一化后文档向量的范数：

norm(ntfidfmtx(:,2971))

结果为 1，这表明归一化后所有文档向量在欧几里得空间中的长度为 1，且由于向量分量非负，它们都位于同一超卦限的单位超球面上，这在通过向量夹角评估文档相似度时非常有用。

另外，Text Analytics Toolbox™ 中的 tfidf 函数提供了另一种计算 TF - IDF 矩阵的方法，它计算效率更高，还支持不同的 TF 和 IDF 加权方案。

2. 关联得分

关联得分用于衡量给定向量对之间的相似程度，常见的关联得分有：
- Dice 系数 ：计算两个向量中非零公共元素的归一化计数，归一化因子为 2 除以两个向量中非零元素总数之和，得分范围在 [0, 1] 之间。数学定义为：
[dice(v1,v2) = \frac{2 n(N1 \cap N2)}{n(