哈哈~自己的分词包发布！

最新推荐文章于 2025-07-30 16:47:17 发布
最新推荐文章于 2025-07-30 16:47:17 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/doomhuntercj/article/details/1499111
本文介绍了一款基于JAVA开发的中文分词包，该分词包采用了正向匹配、反向匹配等方法，并能够根据需求保留特定词性的词汇。在性能方面，加载词库仅需1秒，每340个词的分词处理时间为17-18毫秒。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

呵呵，在JAVA下搞了不少的时间了，写了个带词性标注的中文分词的包！

由于本来公司应用的对于分词的精度要求并不是太高，所以暂时实现了一个没用加入歧义消除的包！

采用的基本方法是， 正向匹配，反向匹配，人名，地名，西文名，词缀部门名，数量词识别。

并且可以按照给定的tag来保留应用所需要的词性的词汇，比如相关新闻计算时，保留动名，名词等词性的就可以了！

性能：load词库需要1s，分词340个需要17-8毫秒。

有兴趣的朋友可以跟帖或者留言进行交流！

 

doomhuntercj
关注
【实战篇】【 DeepSeek的NLP黑科技：如何让AI听懂“人话“还能接梗？】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-21 95
某次看到用户搜索"怎么防止苹果手机被冻关机"，系统竟自动纠错为"防冻技巧"。构建领域词典时，记得加入"防御性词条"——比如在医疗领域把"GG"标注为"Gamma-Glutamyl"，而不是游戏术语。处理中文一定要考虑"一义多词"（比如"番茄"和"西红柿"）和"一词多义"（比如"香蕉"在水果店和夜店的不同含义）：曾把"我不李姐"（不理解）误清洗为"我不李/姐"，导致意图识别错误。
AI Agent开发第68课-彻底消除RAG知识库幻觉(2)-喂饭式教你多路召回怎么做
打造全国最全的AI Agent开发知识领域的博客
05-16 347
多路召回，这一搜索与推荐系统的核心技术，犹如数字世界的智能筛选器。本文深入剖析其工作原理、应用场景与技术演进，从理论到实践全方位解读这一技术如何通过多维度筛选，让AI系统既能应对海量数据挑战，又能满足个性化需求，同时最大化增加召回率，从而让你的AI Agent不会老漏东西、更贴切的召回符合用户的数据。
准确分词：加载自定义字典分词（pyhanlp分词示例）
陈宸的博客
06-20 2756
目录 一、pyhanlp 1.1基本介绍 1.2 pyhanlp加入字典 二、分词对比 tokenizer.py ：hanlp函数 cut_data.py 主文件 全部代码、数据集：https://github.com/455125158/NLP_basis 一、pyhanlp 1.1基本介绍 pyhanlp介绍：https://github.com/ha...
jieba分词模块中如何添加自己准备的词典
热门推荐
qq_38585359的博客
07-31 1万+
jieba分词的词典一般是C:\Users\Administrator\AppData\Local\Programs\Python\Python36\Lib\site-packages\jieba的目录下的dict.txt文件，如果自己想添加词典，比如添加dict2.txt的词典，可以将此文件放入dict.txt的同一个目录下，然后在每一次使用时调用方法jieba.load_userdict来加载...
postgresql 分词_使用PostgreSQL进行全文检索
weixin_39736650的博客
12-24 1127
前言PostgreSQL 被称为是“最高级的开源数据库”，它的数据类型非常丰富，用它来解决一些比较偏门的需求非常适合。前些天将 POI 点关键词查询的功能迁到了 PgSQL，总算对前文 空间索引 - 各数据库空间索引使用报告 有了一个交代。由于 PgSQL 国内的资料较少，迁移过程踩了不少坑，这里总结记录一下，帮助后来的同学能顺利使用 PgSQL。而且目前在灰度测试刚布了一台机器，后续可能还要添加...
mysql 中文分词搜索_php中文分词搜索
weixin_39636164的博客
01-27 232
本篇文章主要介绍php中文分词搜索，感兴趣的朋友参考下，希望对大家有所帮助。1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wamp/scws2、php.ini 中配置extension = php_scws.dllscws.default.charset = utf8 //配置默认的编码方式scws.default.fpath = "E:/wamp/scws" //加压后文件的路...
php分词搜索,php实现scws中文分词搜索的方法
weixin_30662937的博客
03-10 510
本文实例讲述了php实现scws中文分词搜索的方法。分享给大家供大家参考，具体如下：1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wamp/scws2、php.ini 中配置extension = php_scws.dllscws.default.charset = utf8 //配置默认的编码方式scws.default.fpath = "E:/wamp/scws" //加压后...
postgresql 分词_使用PostgreSQL进行中文全文检索
weixin_36403587的博客
01-14 174
前言PostgreSQL 被称为是“最高级的开源数据库”，它的数据类型非常丰富，用它来解决一些比较偏门的需求非常适合。前些天将 POI 点关键词查询的功能迁到了 PgSQL，总算对前文 空间索引 - 各数据库空间索引使用报告 有了一个交代。由于 PgSQL 国内的资料较少，迁移过程踩了不少坑，这里总结记录一下，帮助后来的同学能顺利使用 PgSQL。而且目前在灰度测试刚布了一台机器，后续可能还要添加...
php 搜索引擎 分词_怎么在php中使用scws实现一个中文分词搜索功能
weixin_29084231的博客
03-08 241
怎么在php中使用scws实现一个中文分词搜索功能发布时间：2021-02-11 19:31:47来源：亿速云阅读：63作者：Leah本篇文章给大家分享的是有关怎么在php中使用scws实现一个中文分词搜索功能，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。具体如下：1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wam...
基于HanLP和Java的汉语言处理包
毕业作品网站
07-23 4624
*** 演示用户词典的动态增删*/// 动态增加CustomDictionary.add("攻城狮");// 强行插入CustomDictionary.insert("白富美", "nz 1024");// 删除词语（注释掉试试）// CustomDictionary.remove("攻城狮");System.out.println(CustomDictionary.add("单身狗", "nz 1024 n 1"));
【中文分词】基于ICTCLAS的Python中文分词
CD's Coding
07-20 6008
前言 在ICT实习获得的第一个任务与中文分词有关，本想用Stanford中文分词器，苦于VirtualBox中的Ubuntu跑Stanford的中文分词程序的时候会出现OSError: Java Command Failed 的错误。负责OS这方面的队友在纠结不前之时，老师提醒了我：为什么不去试试别的分词器呢？ 网上搜索了一下中文分词，一眼看到这个ICTCLAS，哈哈哈我正在这里实习为何不试试
实践：jieba分词和pkuseg分词、去除停用词、加载预训练词向量
qq_44425179的博客
06-11 2013
目标：中文句子中的词与词之间加上边界标记，本质是划分词的边界。英文天然有空格作为分词符合。而对于中文如何让机器智能识别出单词词汇，是文本分析的第一步。基本分词思想：(1) 由句子到词.(2) 由字到词具体分词方法：举例：如何分词使得这个句子的共现概率最大。
从 0 到 1 学习 elasticsearch ，这一篇就够了！(建议收藏)
大数据梦想家
03-01 5180
从 0 到 1 学习 elasticsearch ，这一篇就够了！！！
Python分析5000+抖音大V，发现大家都喜欢这类视频！
qq_38887171的博客
11-20 841
最近，我在知乎上看到一个关于抖音的问题。 里面提到了，目前我国人均每天刷短视频110分钟。 看这数据，看来我又被平均了。 不过老实说，只要一打开抖音，我确实是有一种停不下来的感觉～ 所以还是少刷抖音，多看书。要不然时间全流逝了。 本期就给大家用数据分析一下在抖音，什么类型的视频最受欢迎。 01数据获取 数据来自于第三方监测，一共是有5000+抖音大V的数据信息。 主要包含大V们的昵称、性别、地点、类型、点赞数、粉丝数、视频数、评论数、分享数、关注数、毕业学校、认证、简介等信息。 .
Java 反射核心：Class对象
m0_70660627的博客
07-30 638
Reflection(反射)是 Java 被视为动态语言的关键。反射机制允许程序在执行期借助于 Reflection API 取得任何类的内部信息（类名，方法，接口），并能直接操作任意对象的内部属性及方法。反射机制的核心在于 Class对象，它提供了在运行时探查和操作类结构的能力，是 Java 实现动态特性的关键。理解类加载过程和 Class对象的唯一性对于掌握反射至关重要。创作不易，大家的支持就是我坚持下去的动力！
【JavaEE】多线程（一）
stillaliveQEJ的博客
07-29 377
嘿嘿，是不是有点绕晕了，可以这样理解，CPU是一个工厂，进程是工厂中不同的流水线，每一条流水线上都拥有一定的机器和原料（资源）用来加工，线程则是流水线上的工人，轮流在这条流水线上工作，每条流水线的工人使用的都是这条流水线上的资源。通过前面的内容我们已经知道，计算机中运行的程序都是由操作系统来管理的，进程则是操作系统分配资源的基本单位，为了提升CPU的运行效率，我们采用分时复用、多线程等方法进行多个程序的并发、并行执行。还有可能，线程1、2在一个核心上来回切换，线程3在另一个核心上和其他进程的线程来回切换。
java基于交易日表计算自然日、工作日、交易日
最新发布
qq_36635569的博客
07-30 166
摘要：本文介绍了一个交易日计算系统的设计与实现。系统通过交易日表(BUS_DATE)结构存储日期信息，区分自然日、工作日和交易日三种日期类型。核心功能包括：1) 计算指定日期前/后N个交易日/工作日；2) 按周/月/季/年维度计算特定工作日；3) 日期转换和格式化处理。系统采用Java开发，包含枚举类、实体类、Mapper层、Service层和工具类(DimTimeUtil、DateParse)等模块，提供灵活的日期计算方法，适用于金融交易场景的日期计算需求。
Sql server开挂的OPENJSON
清风弄影
07-27 1166
摘要：SQL Server 2019的OPENJSON功能大幅简化了JSON数据处理。相比SQL Server 2008需要自定义表类型来传递表参数的方式，新版本只需将JSON字符串作为参数传递，通过OPENJSON解析即可。该功能支持单层和嵌套JSON结构，可指定字段名称和类型，还能处理复杂层级数据。从SQL Server 2016开始引入的JSON支持，不仅提高了开发效率，还影响了表结构设计，许多原本需要主从表结构的场景现在用单表配合JSON字段就能实现，大大简化了数据库操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值