文本相似度 HanPL汉语言处理

---

前言

请各大网友尊重本人原创知识分享，谨记本人博客：南国以南i、

---

提示：以下是本篇文章正文内容，下面案例可供参考

需求

当我们需要求两个或两个以上的字符串相似度百分比时，可以使用HanLP汉语言处理包来帮助我们，求两个文本的相似度百分比、海明距离、

简介

HanLP（Han Language Processing） 在汉语义处理方面具备强大的功能，由中国科学院计算技术研究所自然语言处理与社会人文计算研究中心开发。它提供了包括分词、词性标注、命名实体识别、依存句法分析、情感分析、文本分类等多种自然语言处理任务的功能。

主要功能：

• 分词： HanLP提供了多种分词模型，包括基于规则的模型、基于神经网络的模型等，能够准确地进行中文分词。
• 词性标注： 在分词的基础上，HanLP还能对词语进行词性标注，帮助理解词语在句子中的作用。
• 命名实体识别： HanLP能够识别文本中的命名实体，如人名、地名、组织机构名等，这对于信息抽取等任务非常重要。
• 依存句法分析： 通过对句子中各个词语之间的依存关系建模，HanLP能够分析句子结构，提取句子的语义信息。
• 情感分析： HanLP支持对文本进行情感分析，判断文本所表达的情感倾向，如正面、负面或中性。
• 文本分类： HanLP还提供了文本分类的功能，可以将文本按照预设的分类体系进行分类。

友情链接：HanLP项目主页 、HanLP下载地址、详细介绍

实操开始

注意： 本文以Java开发语言为案例

1. 添加pom.xml依赖

	    <!--junit依赖-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <!--hanlp语言处理依赖-->
        <dependency>
            <groupId>com.hankcs</groupId>
            <artifactId>hanlp</artifactId>
            <version>portable-1.7.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.4</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.3</version>
        </dependency>

2. 文本相似度工具类

import com.hankcs.hanlp.seg.common.Term;
import com.hankcs.hanlp.tokenizer.StandardTokenizer;
import org.apache.commons.lang3.StringUtils;
import org.jsoup.Jsoup;
import org.jsoup.safety.Whitelist;

import java.math.BigInteger;
import java.util.*;

public class MySimHash {
   
   
    private String tokens; //字符串
    private BigInteger strSimHash;//字符产的hash值
    private int hashbits = 64; // 分词后的hash数;


    public MySimHash(String tokens) {
   
   
        this.tokens = tokens;
        this.strSimHash = this.simHash();
    }

    private MySimHash(String tokens,