关键词与关键词之间的相关度计算

最新推荐文章于 2022-08-17 00:54:47 发布

转载最新推荐文章于 2022-08-17 00:54:47 发布 · 2.3k 阅读

文章标签：

#测试 #算法 #c

.NET技术文章专栏收录该内容

21 篇文章

订阅专栏

本文介绍了一种计算文本中词汇间关联性的简便算法，并通过实例展示了如何使用该算法找到与特定词汇高度相关的其他词汇。

在信息论中常用互信息（MI，Mutual Information）来衡量两个词的相关度MI(X,Y)=log2p(x,y)/p(x)p(y)
MI越大，表示两个词之间的结合越紧密。
当X,Y关联大时，MI(X,Y)大于0；当X与Y关系弱时，MI(X,Y)等于0；当MI(X,Y)小于0时，X与Y称为“互补关系”

这个算式看起来很直观，但计算还是有些麻烦，因为计算概率值p(x)，p(y)都需要在语料中进行分词，

这就涉及到词典的构成以及分词的算法。

下面介绍一个简便而直观的算法：
假设一个文章集合 {C}，总文章数目为N，其中含有单词X的文章总数为Nx，含有单词Y的文章总数是Ny，含有｛X+Y｝的文章总数是 Nxy，那么相关性这么计算
Corr(X,Y)= Math.log10(N/Nx)*Math.log10(N/Ny)*Nxy/(Nx+Ny-Nxy)
我写了一个程序进行测试，首先准备一个词典，然后准备大量语料，为检索方便，用lucence建索引，然后查询每个词与两个词交集的个数。测试汽车，前两百名结果非常好。测试一个不常见的词，如活性炭，得到的结果如下，还蛮不错的。

主关键词x	关联词y	关联词数Ny	主关键词数Nx	总文章数N	Nxy	Coorr(X,y)
活性碳	不织布	16	72	1127199	9	2.316674
活性碳	回力胶	25	72	1127199	9	1.996593
活性碳	吸音棉	29	72	1127199	9	1.883334
活性碳	珍珠棉	31	72	1127199	9	1.831631
活性碳	滤袋	39	72	1127199	8	1.453371
活性碳	防尘网	59	72	1127199	9	1.32477
活性碳	云母片	26	72	1127199	6	1.26853
活性碳	压敏胶	27	72	1127199	6	1.250454
活性碳	超滤膜	19	72	1127199	4	0.92056
活性碳	海棉	119	72	1127199	9	0.82483
活性碳	反渗透	155	72	1127199	10	0.746471
活性碳	滤膜	47	72	1127199	4	0.639034
活性碳	电导仪	4	72	1127199	2	0.617857
活性碳	铜箔	100	72	1127199	6	0.614342
活性碳	糊精	52	72	1127199	4	0.606269
活性碳	铝粉	52	72	1127199	4	0.606269
活性碳	制冰机	27	72	1127199	3	0.605689
活性碳	水净化	219	72	1127199	10	0.554048
活性碳	滤芯	356	72	1127199	15	0.533304
活性碳	ro膜	14	72	1127199	2	0.489964
活性碳	工业水	165	72	1127199	7	0.489529
活性碳	二氧化钛	83	72	1127199	4