开朗小哥的博客

而一个词语在一篇文章中多次出现，则认为该词语有很高的重要性，即一个词语的重要性与它在文档中出现的次数成正比，与它在语料库中出现的频率成反比。系统于每天凌晨一点自动执行基于Spark计算框架的SimHash算法，计算已发布博客的Hash码并将结果存入数据库，每五分钟自动将待审核的博客与数据库中的数据进行比对，将相似的文章存入数据库中的审核表，等待管理员人工审核，此状态的博客是无法在博客平台上浏览的，而不存在相似博客的待审核博客则自动通过系统审核，标记为发布成功的状态，并将其展示到前端界面，供用户浏览。