主流的几种全文除重方法介绍

xto xto 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 574平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄24年
关注
原创 最新推荐文章于 2026-09-01 01:26:15 发布 574 阅读 AI 写同款· GEO 优化 ›
用于文本去重（相似度计算）的Simhash算法学习及python实现（持续学习中） Simhash算法学习及python实现1. Simhash算法是什么？2.Simhash算法思想3.Simhash算法流程3.1 分词3.2 hash3.3 加权3.4 合并3.5降维4. SimHash签名距离计算4.1 什么是海明距离呢？4.2 大规模数据下的海明距离计算参考文章 来源于众多文章的学习，将在文章末尾，集中附录出所有学习的文章 1. Simhash算法是什么？ 一段文字所包含的信息，就是它的信息熵。如果对这段信息进行无损压缩编码，理论上编码后的最短长度就是它的信息熵大小。 如果仅仅是用来 阅读详情

1 叠瓦法(Shingling)
2 经典I-Match算法
3 最长公共子串LCS
4 Simhash

 

收录于
杂论和收集

当前文章被收录于：

杂论和收集
1 篇文章 0 人学习
订阅专栏 查看详情
标签
#算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
【文本去重】通俗易懂理解Minhash算法 minhash算法直观理解 阅读详情

相关推荐

大文件去重 布隆算法

大文件去重 布隆算法

文本去重：sim哈希算法

站在巨人_啊哈、zstu_翊、lengye7、黑夜路人的肩膀上~ 分析数据前，我们需要对数据去重，如何选择和设计文本的去重算法？ 常见的去重算法有：余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法是先将两篇文章分别进行分词，得到一系列特征向量，然后计算特征向量之间的距离（可以计算它们之间的欧氏距离、海明距离或者夹角余弦等等），从而通过距离的大小来判断两篇文章的相似度。这些算法对于数据量小的文本还比较好用，我们如何对于这些海量千万级的数据进行高效的合并去重？ sim哈希算法原理

jerry zhang的sally wu 1917

去重算法Similarity

实现了SimHash算法、MinHash算法、Shingling算法、汉明距离、Jaccard Index。供初学者参考

文本去重算法：Minhash/Simhash/Klongsent

原文作者：剪水作花飞 原文地址：https://zhuanlan.zhihu.com/p/43640234 日前接到一个对名言警句这种短文本进行去重的小任务，下图是几个重复文本的示例： 很直观的结论就是重复度越高的文本，具有更多重复的词汇。一个最直接的去重思路可以描述为：将文本进行分词处理，统计各文本词汇的重合度。KShingle算法就是基于这样朴素的思想。 一、KShingle算法 对于一篇文档...

Little Snow White 2759

文本去重第一步：基于内容的文本相似性计算

NULL 博文链接：https://yshjava.iteye.com/blog/1560661

EXCEL七种关于去除重值值公式的建立思路及原理分解

单列，多列和区域去除重复值公式的详细讲解

文章去重方案介绍

1、指纹码去重法 指纹码对比 最常见的去重方案是生成文档的指纹门。例如对一篇文章进行MD5加密生成一个字符串，我们可以认为这是文章的指纹码，再和其他的文章指纹码对比，一致则说明文章重复。 但是这种方式是完全一致则是重复的，如果文章只是多了几个标点符号，那仍旧被认为是重复的，这种方式并不合理。 2、BloomFilter方式去重 这种方式就是我们之前对url进行去重的方式，使用在这里的话，...

xiqi439的博客 1246

华为昇腾910B3显卡实战：手把手教你部署DeepSeek 32B模型（含Bge-zh向量库配置）

本文详细介绍了在配备8张华为昇腾910B3显卡的服务器上，从零部署DeepSeek 32B大模型推理服务的完整实战方案。内容涵盖环境准备、模型配置、多卡负载分配，并集成了BGE中文向量模型与ChromaDB向量数据库，最终通过Open WebUI构建了可投入生产的企业级AI应用栈，为私有化大模型部署提供了具体参考。

weixin_29038345的博客 1710

什么是全文检索

全文检索技术被广泛的应用于搜索引擎，查询检索等领域。我们在网络上的大部分搜索服务都用到了全文检索技术。对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，比如百度、Google等搜...

大数据流动 170

GB28181安防平台未授权访问漏洞：原理、复现与修复指南

未授权访问漏洞是Web安全中常见的访问控制缺陷，其本质在于应用在提供对敏感功能或数据的访问前，未能对请求者的身份和权限进行充分验证。从技术原理上看，这类漏洞常源于拦截器配置错误、安全注解遗漏或自定义校验逻辑缺陷，导致本应受保护的API接口被意外暴露。在工程实践中，此类漏洞危害巨大，攻击者无需登录即可直接访问系统核心接口，可能引发敏感信息泄露、权限提升甚至系统接管。尤其在安防监控、物联网管理平台等场景中，一旦涉及用户管理接口（如`/api/user/**`），风险会急剧放大。本文以GB28181视频监控管理平

weixin_30271335的博客 439

manimgl安装

安装manimgl

happytree001的博客 708

查重飘红先别急着全文丢AI，我这样选降重工具

查重报告一片飘红，先别急着全文丢给AI——2026年论文降重辅助工具选型实录 又到了开学季加毕业季叠加的日子，后台收到最多的私信就是："重复率38%还有救吗""用ChatGPT改了三遍怎么越改越高""降完重格式全乱了要不要重新排版"。 说实话，论文降重这件事，工具选错了，比不用还糟。我自己加上帮师弟师妹踩过的坑，前前后后把市面上主流的四类工具都用了一遍：专业降重工具、官方查重平台、通用大模型、还有今年特别火的AI智能体。今天把每类工具的真实优点和适用场景讲清楚，大家按需取用。 一、先搞清楚：你

paperred的博客 237

H3C无线控制器二层注册实战：从零配置到AP上线全流程（附常见问题排查）

本文详细解析了H3C无线控制器二层注册的全流程，从网络基础准备、AC核心配置到AP上线，重点阐述了CAPWAP隧道建立的关键步骤。文章提供了清晰的典型配置示例，并针对AP无法上线、状态异常等常见问题，给出了六种典型故障现象的排查思路与解决命令，帮助网络工程师快速定位并解决问题。

weixin_29214199的博客 546

MongoDB全文搜索深度解析

在当今信息爆炸的时代，数据量呈指数级增长，如何快速、准确地从海量数据中找到所需信息成为了一个亟待解决的问题。特别是在电子商务、社交媒体、内容管理等领域，用户往往需要通过关键词搜索来定位特定的文档或记录。传统的数据库查询方式往往难以满足这种需求，因为它们通常不支持复杂的文本搜索功能。为了解决这个问题，MongoDB 引入了全文搜索功能，极大地丰富了其数据检索的能力。在许多应用场景中，我们可能会遇到这样的问题：用户输入关键词后，系统需要能够返回包含这些关键词的文档，并且结果要尽可能的相关和准确。

AIHacksCash的博客 1192

车规级非易失存储选型指南：从AEC-Q100到ISO 26262的可靠性设计

非易失存储器是电子系统中负责长期保存关键数据与代码的核心组件，其可靠性直接决定了系统的长期稳定运行能力。在汽车电子领域，这一要求被提升到了极致，必须满足严苛的车规级标准。从原理上看，存储器的数据保持能力、擦写寿命等关键参数在高温、振动等恶劣环境下会急剧衰减，因此需要专门的设计与验证。其技术价值在于保障车辆全生命周期的功能安全与数据完整性，避免因存储失效导致的安全隐患或频繁维护。应用场景涵盖从发动机控制单元、自动驾驶域控制器到智能座舱的各类电子控制单元。本文聚焦于车规级非易失存储的选型，深入解析AEC-Q10

weixin_30938149的博客 458

SAP ABAP 缓冲同步揭秘——从 DDLOG 表到 RSDBBUF3 的完整实践指南

DDLOG 看似一张不起眼的系统表，却承担着 SAP 多实例环境下的数据一致性重任。通过掌握其字段意义、解析方法及周边监控工具，你可以在性能与一致性之间找到最佳平衡；通过精细化的参数管理与主动刷新策略，更能在关键业务场景中确保“数据永远是最新的”。愿本文能成为你日常排障与架构决策的参考手册。

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 314

目录类搜索引擎和全文搜索引擎的区别

搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎(Full Text Search Engine)、目录索引类搜索引擎(Search Index/Directory)和元搜索引擎(Meta Search Engine)。 一．全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名...

KKKkJzy的博客 1万+

关于YOLOv8的面试题(持续更新中...)

本章将计划更新关于YOLOv8中可能会成为面试题的关键技术点，计划持续更新，可能想到合适的问题我就会整理下更新到本博客中。

ice 4169

推荐几种可以直接翻译PDF英文文献的方法

大家在阅读英文文献的时候，可能会经常碰到这样的情况：由于作者使用了各种从句，明明只是一句话，却写成很长的一段，即使其中没有生词，看了几遍也弄不懂它的意思。如果句子里再夹杂了几个看不懂的英文单词，那就更不容易搞懂了。划词取词肯定是不够用的！把这些生词和句子，从PDF文件复制到翻译软件、或者字典软件中去翻译总是有些麻烦。今天推荐大家几种可以直接翻译PDF英文文献的方法，希望能够帮你解决阅读上的困难。...

weixin_42009785的博客 5985

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

出色不如走运全文第二部分

出色不如走运 作者：石川，量信投资创始合伙人，清华大学学士、硕士，麻省理工学院博士； 精通各种概率模型和统计方法，擅长不确定性随机系统的建模及优化。 未经授权，严禁转载。 摘要：本文介绍几种主流的多重检验方法。它们可以排除 data mining 造成的运气成分，从而有效的从大量因子中选出真正能够解释截面收益率的好因子；该方法也可用于基金经理或投资策略的筛选。 1、引言 两年前，我写了一篇...

rede 2892

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料，已经经过了本人的筛选和整理，希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助！

全文检索汇总

[博客]Hibernate Search is a full text search engine http://my.oschina.net/u/818640/blog/159658 Hibernate Search is a full text search engine built using Apache Lucene framework. Hibernate Search

rise51的专栏 509

Elasticsearch全文搜索原理解析

在当今信息爆炸的时代，如何快速、准确地从海量数据中找到所需信息成为了一个亟待解决的问题。想象一下，一个大型电商平台，每天产生数以亿计的交易记录、用户评论和产品描述，如何让用户在短时间内找到他们感兴趣的商品或评价？这就需要一种强大的搜索技术，而全文搜索引擎正是这种技术的代表。为了解决上述问题，我们需要介绍Elasticsearch这一知识点之全文搜索引擎原理。全文搜索引擎能够对文本内容进行高效检索，它通过索引机制将文档内容转换为可搜索的结构化数据，从而实现快速查询。

我是Java程序员廖志伟，感谢朋友们的支持！不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作，坚决杜绝粗制乱造。 964

大模型RAG | 深入了解几种主流的检索策略（BM25、Embedding、混合检索、Reranker）

BM25：关键词检索的基石，简单高效，精确匹配场景下的可靠选择。Embedding 技术：开启语义理解大门。Sparse Embedding (如SPLADE)：在关键词基础上融入初步语义，兼顾效率与可解释性。Dense Embedding (如SBERT, jina-embeddings-v3)：强大的语义理解能力，应对复杂查询的利器。Multi-vector Embedding (如ColBERT)：精细捕捉长文档中的局部信息，避免重要细节被稀释。

老皮的博客 2155

Java中常用的几种DOCX转PDF方法

点击查看全文 DOCX2PDF 将DOCX文档转化为PDF是项目中常见的需求之一，目前主流的方法可以分为两大类，一类是利用各种Office应用进行转换，譬如Microsoft Office、WPS以及LiberOffice，另一种是利用各种语言提供的对于Office文档读取的接口(譬如Apache POI)然后使用专门的PDFGenerator库，譬如IText进行PDF构

DONGYUXIA15810857916的博客 907
上一篇： pymssql 基本的操作方式
下一篇： linux indent用法
点赞 0
评论 0
书签 书签 0
xto
xto
博客等级 码龄24年 4粉丝 30原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值