【项目】#防翟天临老师翻车神器# ——实现文本查重

最近找实习的事基本上算是凉了，时间终于没那么紧迫了，学了点QT的皮毛给这个小工具搞了个简单的界面

不准说丑！！！！！！！！                                                                                                                                               2019-5-18

#############################################################################

 

最近的热点事件翟天临论文抄袭闹得社交网络沸沸扬扬，作为在学校生活的广大同学们肯定对于论文查重是都是有所耳闻的，为了不要像翟老师那样翻车，大家总会特别在意所谓的重复率，那么论文查重的功能到底是如何实现的呢？

这里我们将文本查重功能实现的程序分为四个步骤

• 文本分词
• 词频统计
• 构成词频向量
• 计算重复率

贴一下整体的代码 https://github.com/GreenDaySky/Function-text-rechecking（这里没有把jieba的工具包贴上来）

 

文本分词

文章都是以句子构成的，而句子是由许许多多的词构成的，所以其实查重机制的根本应当是根据词语进行的。

那我们就要思考一下如何进行从句子中提取词语完成分词操作了

这里贴一篇对于分词的介绍：https://www.cnb