浅谈Java中的中文分词

java中文分词工具_中文分词常用方法简述 中文分词就是将一句话分解成一个词一个词,英文中可以用空格来做,而中文需要用一些技术来处理。三类分词算法:1. 基于字符串匹配:将汉字串与词典中的词进行匹配,如果在词典中找到某个字符串,则识别出一个词。优点,速度快,都是O(n)时间复杂度,实现简单。缺点,对歧义和未登录词处理不好。此类型中常用的几种分词方法有:1. 正向最大匹配法:假设词典中最大词条所含的汉字个数为n个,取待处理字符串的前n个字作为... 阅读详情

在这里插入图片描述

01 引言

在自然语言处理(NLP)和文本分析领域,分词(Word Segmentation) 是最基础也是至关重要的一步。它指的是将连续的文本序列(如句子、段落)切分成具有独立语义或语法意义的词汇单元(词或 Token)的过程。

对于像英语这样以空格分隔单词的语言,分词相对简单。然而,对于中文、日文、泰文等没有明显词边界标记的语言,分词就成为一个复杂且核心的技术挑战。

Java 作为企业级应用和大型系统开发的主力语言,拥有众多成熟、高效的分词框架库。本节将介绍几个开箱即用的框架。

02 使用场景

2.1 搜索

比如:我们在百度搜索京东咸鱼,搜索结果里面即包括京东的相关信息,也包括咸鱼的相关信息。明显是经过了分词,才能得到的结果。如图:

在这里插入图片描述

至于百度底层用的是什么搜索引擎,我们暂且不去关注。

搜索功能使用的频率很高,几乎每一个网站都可能用到,所用到的技术五花八门。有精确查询的、模糊匹配的还有使用所有引擎(如:ES、Solr、opensearch等)的。

不同场景,使用的技术自然也不一样。

  • 精确查询:一般用户列表查询,多用于后台管理系统。
  • 模糊匹配:一般用户快捷查询,多用于首页
  • 搜索引擎:技术相对复杂,多用户海量的搜索。

精确查询和模糊匹配一般的数据都会支持,如Mysql,数据量比较少的情况下可以随意使用,数据量大起来,可以通过建立合适的索引提高查询效率。而模糊匹配一般都不会走索引,查询的效率相对来说比较低下。

如果需要大量的模糊搜索,且数据量大的话,搜索引擎将是不错的选择。搜索引擎中最终的一个就是分词器,通过分词器将输入的条件分成词条,使用倒排索引的技术,提高搜索的性能。

2.2 关键词拆分

如何从一个文本中提炼出关键词呢?如何将一段地址分割出省市区呢?…

依然需要分词,随着大模型的兴起,分词的功能变得越来越强大。可以实现语义分析、情感分析、纠错等复杂的场景。

03 IK分词器

IK分词器一直被认为是支持中文最好的分词器,常用做ES、Solr的分词插件,同样也提供了Maven版本的类库。

在这里插入图片描述

Github地址:https://github.com/magese/ik-analyzer-solr

3.1 Maven依赖

<dependency>
    <groupId>com.github.magese</groupId>
    <artifactId>ik-analyzer</artifactId>
    <version>8.5.0</version>
</dependency>

3.2 案例

@Test
void test01() throws IOException {
    String text = "小米su7特斯拉modelY比亚";
    StringReader reader = new StringReader(text);
    IKSegmenter ikSegmenter = new IKSegmenter(reader, true);
    // 动态加载
    // Dictionary.getSingleton().addWords(Arrays.asList("特斯拉modelY"));
    Lexeme lexeme;
    while ((lexeme = ikSegmenter.next()) != null) {
        System.out.println(lexeme.getLexemeText());
    }
    
    // 执行结果:
    // 小米
	// su7
	// 特斯拉
	// modely
    // 比亚
}

我们可以看到,我们做任何配置的情况下,IK已经分出了小米、su7、特斯拉、modely这样的词,还是比较满意的。

如果我们想小米su7变成一个词输出,我们又该如何是好呢?这时候,我们就需要扩展词库了。

  • ext.dic:主词库的扩展词库
  • stopword.dic:忽略的词库

例如:我们需要忽略比亚这个词,小米su7变成一个词。

我们需要在项目的resources下分别建立词库ext.dic和stopword.dic词库,并添加指定的词:

在这里插入图片描述

运行结果:

在这里插入图片描述

04 HanLP

在这里插入图片描述

HanLP的功能不局限于分词,具有丰富的功能。提供RESTful和native两种API,分别面向轻量级和海量级两种场景。无论何种API何种语言,HanLP接口在语义上保持一致。

用户还可以基于HanLP训练数据自己的模型词库、语料等。

GitHub地址:https://github.com/hankcs/HanLP

4.1 HanLP2.x

HanLP2.x是基于深度学习的,号称次世代最先进的NLP技术,支持包括简繁中英日俄法德在内的104种语言上的联合任务。

提供RESTful API,API地址:https://www.hanlp.com/api

Maven依赖

<dependency>
    <groupId>com.hankcs.hanlp.restful</groupId>
    <artifactId>hanlp-restful</artifactId>
    <version>0.0.12</version>
</dependency>

案例

@Test
void test02() throws IOException {
    String text = "小米su7特斯拉modelY比亚";
    HanLPClient HanLP = new HanLPClient("https://www.hanlp.com/api", null);
    Map<String, List> parse = HanLP.parse(text);
    System.out.println(parse);
}

结果
在这里插入图片描述

调用第三方API总是不可控的,功能虽然丰富,但是只用于分词就显的大材小用了,这里不展开讨论了。

官方提供了详细的说明文档,功能设计文本纠错、语义分析、情感分析等,有兴趣的可以直接测试,地址如下:

https://www.hanlp.com/semantics/functionapi/participle

4.2 HanLP1.x

HanLP1.x是一个轻量级的工具包,比较符合我们日常使用。同样提供丰富的分词功能。如标准分词、NLP分词、索引分词等7种分词,人名识别、地名识别等6种识别以及其他功能。

文档地址:https://github.com/hankcs/HanLP/tree/1.x

Maven

<dependency>
    <groupId>com.hankcs</groupId>
    <artifactId>hanlp</artifactId>
    <version>portable-1.8.6</version>
</dependency>

案例1

标准分词

@Test
void test03() {
    String text = "小米su7特斯拉modelY比亚";
    System.out.println(HanLP.segment(text));
    // [小米/n, su/nx, 7/m, 特斯拉/nrf, modelY/nx, 比/p, 亚/b]
}

案列2

加载自定义词库:
在这里插入图片描述

@Test
void test04() {
    Config.CustomDictionaryPath = new String[]{"dictionary/ext.txt"};
    String text = "小米su7特斯拉modelY比亚";
    System.out.println(HanLP.segment(text));
    // [小米su7/n, 特/d, 斯/rg, 拉/v, modelY/nx, 比/p, 亚/j]
}

动态加载词库:

@Test
void test05() {
    // 动态增加
    CustomDictionary.add("小米su7");
    String text = "小米su7特斯拉modelY比亚";
    System.out.println(HanLP.segment(text));
    // [小米su7/nz, 特斯拉/nrf, modelY/nx, 比/p, 亚/b]
}

其他的案例这里不再赘述,可以看考文档。

05 Jieba-analysis

Github地址:https://github.com/huaban/jieba-analysis

5.1 Maven依赖

<dependency>
    <groupId>com.huaban</groupId>
    <artifactId>jieba-analysis</artifactId>
    <version>1.0.2</version>
</dependency>

5.2 案例

@Test
void test03() throws IOException {
    String text = "小米su7特斯拉modelY比亚";
    // 创建分词器对象
    JiebaSegmenter segmenter = new JiebaSegmenter();
    // 使用精确模式分词
    List<String> segList = segmenter.sentenceProcess(text);
    System.out.println("精确模式分词结果:" + segList);
    // 精确模式分词结果:[小米, su7, 特斯拉, modelY, 比亚]
}

06 Ansj_seg

在这里插入图片描述

6.1 Maven 依赖

<dependency>
    <groupId>org.ansj</groupId>
    <artifactId>ansj_seg</artifactId>
    <version>5.1.1</version>
</dependency>

6.2 案例

@Test
void test04(){
    String text = "小米su7特斯拉modelY比亚";
    // 动态添加分词
    DicLibrary.insert(DicLibrary.DEFAULT, "小米su7");
    
    Result result = ToAnalysis.parse(text);
    System.out.println("===== 基础分词结果 =====");
    result.getTerms().forEach(term ->
            System.out.println(term.getName() + " : " + term.getNatureStr())
    );
   
}

在这里插入图片描述

07 小结

中文分词的框架很多,小编以为IK对中文支持最好,HanLP功能更丰富,且比较活跃。当然还有其他优秀的中文分词框架。评论区可以留言讨论。

10大Java开源中文分词器的使用方法和分词效果对比 原文地址:http://my.oschina.net/apdplat/blog/412921 本文的目标有两个: 1、学会使用10大Java开源中文分词器 2、对比分析10大Java开源中文分词器的分词效果 本文给出了10大Java开源中文分词的使用方法以及分词结果对比代码,至于效果哪个好,那要用的人结合自己的应用场景自己来判断。 10大Java开源中文分词器, 阅读详情

相关推荐

基于Java实现的中文分词NLP

通过基于词典的中文分词算法,我们可以将连续的中文文本切分成有意义的词语,为后续文本处理和分析提供基础。当然,中文分词是一个复杂的问题,还有其他更高级的算法和工具可供选择,例如基于统计的分词方法和开源工具库(如HanLP、jieba等)。算法通过遍历文本字符串,从起始位置开始逐步增加结束位置,将子串与词典中的词语进行匹配,如果匹配成功,则将匹配的词语添加到分词结果中,并更新起始位置和结束位置;有多种中文分词算法可供选择,其中最常用的是基于词典的方法和基于统计的方法。三、基于词典的中文分词算法。

ZksProlog的博客 1266

《JAVA篇》-- IK分词器

Java分词器 -- IKAnalyzer分词器简介Ikanalyzer在Maven项目中的应用进阶补充,自定义字典参考文献 简介 java大概有11个大的开源分词器,分别是: 1.word分词器 2.Ansj分词器 3.Stanford分词器 4.FudanNLP分词器 5.Jieba分词器 6.Jcseg分词器 7.MMSeg4j分词器 8.IKAnalyzer分词器(本文要说的) 9.Paoding分词器 10.smartcn分词器 11.HanLP分词器 这里只简单说一下IKAnalyzer的使

优快云_zcy_my的博客 6485

【中文分词】简单高效的MMSeg

最近碰到一个分词匹配需求——给定一个关键词表,作为自定义分词词典,用户query文本分词后,是否有词落入这个自定义词典中?现有的大多数Java系的分词方案基本都支持添加自定义词典,但是却不支持HDFS路径的。因此,我需要寻找一种简单高效的分词方案,稍作包装即可支持HDFS。MMSeg分词算法正是完美地契合了这种需求。 1. MMseg简介 MMSeg是蔡志浩(Chih-Hao Tsai)提出的基...

听雨草堂 338

11大Java开源中文分词器的使用方法和分词效果对比

https://www.cnblogs.com/lishanyang/p/6017155.html

weixin_35843253的博客 1447

vTaskStartScheduler()详解

是启动 FreeRTOS 实时内核的“扳机”。在调用它之前,你只是创建了一些任务结构,但它们都处于“待命”状态,系统仍然在按传统的裸机前后台方式运行。调用这个函数后,FreeRTOS 内核会接管系统的控制权,开始根据优先级调度你创建的任务,多任务环境才真正开始。关键点:它没有参数。它的所有行为都由中的配置宏控制。它通常不会返回。一旦调用,除非没有任务可以运行(或者你显式地停止了调度器),否则程序流永远不会回到main()函数中调用它的下一行。是一个没有参数但行为由精密控制的函数。

Shylock_Mister的博客 1597

Mplus实战:如何用交叉滞后面板模型(CLPM)分析心理学纵向数据?

本文提供了在Mplus软件中应用交叉滞后面板模型(CLPM)分析心理学纵向数据的实战指南。文章详细拆解了CLPM的核心概念、Mplus语法框架,并涵盖从基础的两变量模型到多变量、潜变量建模的扩展,以及结果解读与常见陷阱规避,旨在帮助研究者利用这一经典工具有效探索变量间的动态预测关系。

weixin_29253711的博客 405

浅谈IK中文分词器的使用

1、引入依赖 <dependency> <groupId>com.janeluo</groupId> <artifactId>ikanalyzer</artifactId> <version>2012_u6</version> </dependency> 2、IKUtil工具类 import com.asiainfo.biapp.aiop.web.product.config.

学无止境! 1037

fpga在线升级 linux_仅5000行Verilog代码、可在FPGA上跑轻量级Linux系统的RISC-V内核

本文发布于www.hackster.io,由东京理工大学的计算机学院开发,专用于教学与加速用(苏老师也一直认为这是RISC-V当前的主要方向)。目前市场上开源的RISC-V内核已经很多,但很少有公开的RISC-V计算系统是非常轻型且能跑Linux系统的。这一款RISC-V内核就可以运行在FPGA上,用Verilog编写的,需要很少硬件的资源就能跑起来,所以可以运行在一个低成本的FPGA上。来看一下...

weixin_34083807的博客 1867

mmseg java_【中文分词】简单高效的MMSeg

最近碰到一个分词匹配需求——给定一个关键词表,作为自定义分词词典,用户query文本分词后,是否有词落入这个自定义词典中?现有的大多数Java系的分词方案基本都支持添加自定义词典,但是却不支持HDFS路径的。因此,我需要寻找一种简单高效的分词方案,稍作包装即可支持HDFS。MMSeg分词算法正是完美地契合了这种需求。1. MMseg简介MMSeg是蔡志浩(Chih-Hao Tsai)提出的基于字符...

weixin_42429956的博客 273

解决Android UVCCamera stopPreview 报错 崩溃 闪退 问题

在使用libuvccamera库的UVCCamera时,经常在调用stopPreview关闭预览的时候,app直接崩溃闪退了,经过综合各种修改源码的方案,已解决这个问题,以下请参考: 首先找到android_usbfs.c,linux_usbfs.c两个原文件,在两个文件中都可以找到这段代码,按如下示例修改: 修改前: for (i = 0; i < num_urbs; i++) { if (urb == tpriv->iso_urbs[i]) { urb_idx = i + 1;

hanye2020的博客 3577

SQL注入-靶场通关 Less 1-21

打开Burp工具--打开内嵌浏览器--进入靶场第六关--打开拦截--输入?id=1',如果是正确的,说明不存在注入点,如果错误,说明存在注入点,这里是错误的,需要加上注释--+,在回车看结果是正确的,说明找到了注入点。工具,打开内嵌浏览器,打开拦截,输入http://127.0.0.1/sqli-labs-master/Less-9,然后发送到。id=1'--+,后面都注释了,单引号不闭合,报错说明是数字型SQL注入。设置休眠时间为10s,如果执行SQL语句就会加载,说明正确,存在注入点。

weixin_72104324的博客 1393

浅谈solr

Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。 Solr是一个高性能,采用Java5开发, Solr 基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的...

weixin_30609331的博客 109

从Zemax到Speos:HUD设计数据无缝迁移避坑指南(含STEP文件精度验证)

本文详细介绍了从Zemax到Speos的HUD设计数据无缝迁移方法,重点解决Zernike曲面参数保真、虚拟厚度设置和坐标系对齐等核心问题。通过STEP文件精度验证和工程化解决方案,帮助工程师避免数据迁移中的常见陷阱,提升HUD系统设计效率。适用于Ansys Zemax和Ansys Speos用户,优化光学性能验证流程。

h6i7j8的博客 1064

spark之TF-IDF浅谈

所用或所学知识,忘了搜,搜了忘,还不如在此记下,还能让其他同志获知。 在使用spark实现机器学习相关算法过程中,档语料或者数据集是中文文本时,使用spark实现机器学习相关的算法需要把中文文本转换成Vector或LabeledPoint等格式的数据,需要用到TF-IDF工具。 何为TF-IDF TF(Term Frequency):表示某个单词或短语在某个文档中出现的频率,说白了就是词频,其...

ZH519080的博客 1309

国科大《人工智能原理与算法》2021年期末试题+2024经验(2025指南)

2021年期末试题+24年复习指南

MatsumotoChrikk 2931

Docker(八):Docker Compose(容器编排) 管理多容器应用—实战案例演示

🟢 Docker(八):Docker Compose(容器编排) 管理多容器应用—实战案例演示

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 6万+

猿创征文|浅谈ES-关于ES你了解多少?

索引: 从ID到内容。倒排索引: 从内容到ID。好处: 比较适合做关键字检索。可以控制数据的总量。提高查询效率。搜索引擎为什么比MySQL查询快?lucence文章 -》 term ->排序 term dictionary -> term index -》 Posting List -> [文章ID ,[在文章中出现的偏移量],权重 ]TFIDF。...

浅羽技术 554

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

浅谈文本检索工具Lucene

最近项目要用文本检索工具,就了解到了lucene. 我对lucene查了很多资料,了解到lucene的版本比较多,且每个版本里面的方法变动比较大。最后确定lucene4.7.2版本,理论就不多说了,网上很多介绍理论的,我就直接把能用的代码介绍一下。 1.首先建立索引 public sta...

155

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

nutch+hadoop 配置使用 浅谈

配置nutch+hadoop 1,下载nutch。如果不需要特别开发hadoop,则不需要下载hadoop。因为nutch里面带了hadoop core包以及相关配置 2,建立目录(根据自己喜好) /nutch /search (nutch installation goes here) nutch安装到这里,也就是解压到这里 /filesystem hadoop的文...

zb_86的专栏 248

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

全文检索技术 mysql_浅谈MYSQL的全文检索的应用

【IT168 技术文档】环境:LINUX MYSQL4/5(5以上的版本直接可以在插件形式编译进MYSQL内)使用MYSQL的朋友一定有这样的经历,那就是在检索中文的时候往往力不从心。使用LIKE的效率实在不敢恭维,而且对搜索的结果也不是很满意的。 很希望有一个完美的解决方案。但是事实的真相是残酷的。这个完美的方案可能让你绞尽脑汁还是两手空空。今天我给大家带来的 MYSQL中文分词全文检索 可能会...

weixin_30272849的博客 203

solr导入mysql_Solr导入MySql中的数据

1、参照http://www.cnblogs.com/luxh/p/5016894.html 部署好solr的环境2、在solr_home下建立一个core_item目录[root@iZ23exixsjaZ solr_home]# pwd/luxh/solr/solr_home[root@iZ23exixsjaZ solr_home]# mkdir core_item在core_item目录中建...

weixin_35627928的博客 307

es全文检索论文_浅谈使用ElasticSearch实现全文检索

浅谈使用ElasticSearch实现全文检索IDEADATA-iDSP-Yeun 2016年5月15日现如今,无论是互联网信息还是企业内部每天产生的信息,都在以指数级增长,对于企业内部,每天发生的大量数据,尤其是非结构化数据中,如何能快速查找到对企业内部有用的信息,成为每个公司开始关注的重点。前段时间,笔者就接到类似的需求,某大型保险企业,希望能够将每天发生在企业内部的非结构化数据进行存储与...

weixin_39949894的博客 1368
上一篇: Mysql分页:高效处理海量数据的核心技术
下一篇: Web不用跳白页,直接在当前页面下载文件
智_永无止境
博客等级 码龄10年 803粉丝 407原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智_永无止境

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值