文档的词频-反向文档频率(TF-IDF)计算

TF-IDF计算：

TF-IDF反映了在文档集合中一个单词对一个文档的重要性，经常在文本数据挖据与信息

提取中用来作为权重因子。在一份给定的文件里，词频(termfrequency-TF)指的是某一

个给定的词语在该文件中出现的频率。逆向文件频率（inversedocument frequency，

IDF）是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含

该词语之文件的数目，再将得到的商取对数得到。

相关代码：

[java] view plain copy

1. privatestaticPatternr=Pattern.compile("([\\t{}()\",:;.\n])");
2. privatestaticList<String>documentCollection;
4. //CalculatesTF-IDFweightforeachtermtindocumentd
5. privatestaticfloatfindTFIDF(Stringdocument,Stringterm)
6. {
7. floattf=findTermFrequency(document,term);
8. floatidf=findInverseDocumentFrequency(term);
9. returntf*idf;
10. }
12. privatestaticfloatfindTermFrequency(Stringdocument,Stringterm)
13. {
14. intcount=getFrequencyInOneDoc(document,term);
16. return(float)((float)count/(float)(r.split(document).length));
17. }
19. privatestaticintgetFrequencyInOneDoc(Stringdocument,Stringterm)
20. {
21. intcount=0;
22. for(Strings:r.split(document))
23. {
24. if(s.toUpperCase().equals(term.toUpperCase())){
25. count++;
26. }
27. }
28. returncount;
29. }
32. privatestaticfloatfindInverseDocumentFrequency(Stringterm)
33. {
34. //findtheno.ofdocumentthatcontainstheterminwholedocumentcollection
35. intcount=0;
36. for(Stringdoc:documentCollection)
37. {
38. count+=getFrequencyInOneDoc(doc,term);
39. }
40. /*
41. *logoftheratiooftotalnoofdocumentinthecollectiontotheno.ofdocumentcontainingtheterm
42. *wecanalsouseMath.Log(count/(1+documentCollection.Count))todealwithdividebyzerocase;
43. */
44. return(float)Math.log((float)documentCollection.size()/(float)count);
46. }

建立文档的向量空间模型Vector Space Model并计算余弦相似度。

相关代码：

[java] view plain copy

1. publicstaticfloatfindCosineSimilarity(float[]vecA,float[]vecB)
2. {
3. floatdotProduct=dotProduct(vecA,vecB);
4. floatmagnitudeOfA=magnitude(vecA);
5. floatmagnitudeOfB=magnitude(vecB);
6. floatresult=dotProduct/(magnitudeOfA*magnitudeOfB);
7. //when0isdividedby0itshowsresultNaNsoreturn0insuchcase.
8. if(Float.isNaN(result))
9. return0;
10. else
11. return(float)result;
12. }
14. publicstaticfloatdotProduct(float[]vecA,float[]vecB)
15. {
17. floatdotProduct=0;
18. for(inti=0;i<vecA.length;i++)
19. {
20. dotProduct+=(vecA[i]*vecB[i]);
21. }
23. returndotProduct;
24. }
26. //Magnitudeofthevectoristhesquarerootofthedotproductofthevectorwithitself.
27. publicstaticfloatmagnitude(float[]vector)
28. {
29. return(float)Math.sqrt(dotProduct(vector,vector));
30. }

注意点 ：

零词过滤(stop-words filter)

零词列表

ftp://ftp.cs.cornell.edu/pub/smart/english.stop

关于TF-IDF参考这里：

链接–>http://en.wikipedia.org/wiki/Tf*idf