总结:
虽然这个算法实现并不困难,但还是难倒了我很长时间。
因为没有学过python所以是边学边写,对文档转化不太了解,摸索了很久才搞好,搞好后又发现自己TF和IDF的计算用的都是一个文档,偏差很大,然后分出语料库和测试文档,再重写了循环。
之后又发现这样子每次都要算IDF,计算量太大,每次都得跑好几分钟才能跑完,然后把语料库的IDF计算结果保存成文档,下次计算IDF时就能直接用词查找相应的IDF值,不需要重复计算了。
整合完后,目前想试试双语料库调整权值计算,将算法调整调整能不能提高准确性,结果并不理想,反而是有些偏僻词更容易被提取出来,就放弃这个想法了。
2021-07-25
最新推荐文章于 2021-12-20 21:15:28 发布
4万+

被折叠的 条评论
为什么被折叠?



