哈哈~自己的分词包发布！

最新推荐文章于 2025-12-17 19:02:04 发布

原创最新推荐文章于 2025-12-17 19:02:04 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java

本文介绍了一款基于JAVA开发的中文分词包，该分词包采用了正向匹配、反向匹配等方法，并能够根据需求保留特定词性的词汇。在性能方面，加载词库仅需1秒，每340个词的分词处理时间为17-18毫秒。

呵呵，在JAVA下搞了不少的时间了，写了个带词性标注的中文分词的包！

由于本来公司应用的对于分词的精度要求并不是太高，所以暂时实现了一个没用加入歧义消除的包！

采用的基本方法是，正向匹配，反向匹配，人名，地名，西文名，词缀部门名，数量词识别。

并且可以按照给定的tag来保留应用所需要的词性的词汇，比如相关新闻计算时，保留动名，名词等词性的就可以了！

性能：load词库需要1s，分词340个需要17-8毫秒。

有兴趣的朋友可以跟帖或者留言进行交流！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

doomhuntercj

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【实战篇】【 DeepSeek的NLP黑科技：如何让AI听懂“人话“还能接梗？】

商务合作|问题讨论|交流学习请联系作者微信，加微信请务必注明来意，博客主页有联系方式

03-21

254

某次看到用户搜索"怎么防止苹果手机被冻关机"，系统竟自动纠错为"防冻技巧"。构建领域词典时，记得加入"防御性词条"——比如在医疗领域把"GG"标注为"Gamma-Glutamyl"，而不是游戏术语。处理中文一定要考虑"一义多词"（比如"番茄"和"西红柿"）和"一词多义"（比如"香蕉"在水果店和夜店的不同含义）：曾把"我不李姐"（不理解）误清洗为"我不李/姐"，导致意图识别错误。

AI Agent开发第68课-彻底消除RAG知识库幻觉(2)-喂饭式教你多路召回怎么做

打造全国最全的AI Agent开发知识领域的博客

05-16

576

1 条评论您还未登录，请先登录后发表或查看评论

jieba分词模块中如何添加自己准备的词典

热门推荐

qq_38585359的博客

07-31

1万+

jieba分词的词典一般是C:\Users\Administrator\AppData\Local\Programs\Python\Python36\Lib\site-packages\jieba的目录下的dict.txt文件，如果自己想添加词典，比如添加dict2.txt的词典，可以将此文件放入dict.txt的同一个目录下，然后在每一次使用时调用方法jieba.load_userdict来加载...

准确分词：加载自定义字典分词（pyhanlp分词示例）

陈宸的博客

06-20

2777

目录一、pyhanlp 1.1基本介绍 1.2 pyhanlp加入字典二、分词对比 tokenizer.py ：hanlp函数 cut_data.py 主文件全部代码、数据集：https://github.com/455125158/NLP_basis 一、pyhanlp 1.1基本介绍 pyhanlp介绍：https://github.com/ha...

postgresql 分词_使用PostgreSQL进行全文检索

weixin_39736650的博客

12-24

1195

前言PostgreSQL 被称为是“最高级的开源数据库”，它的数据类型非常丰富，用它来解决一些比较偏门的需求非常适合。前些天将 POI 点关键词查询的功能迁到了 PgSQL，总算对前文空间索引 - 各数据库空间索引使用报告有了一个交代。由于 PgSQL 国内的资料较少，迁移过程踩了不少坑，这里总结记录一下，帮助后来的同学能顺利使用 PgSQL。而且目前在灰度测试刚布了一台机器，后续可能还要添加...

mysql 中文分词搜索_php中文分词搜索

weixin_39636164的博客

01-27

246

本篇文章主要介绍php中文分词搜索，感兴趣的朋友参考下，希望对大家有所帮助。1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wamp/scws2、php.ini 中配置extension = php_scws.dllscws.default.charset = utf8 //配置默认的编码方式scws.default.fpath = "E:/wamp/scws" //加压后文件的路...

php分词搜索,php实现scws中文分词搜索的方法

weixin_30662937的博客

03-10

520

本文实例讲述了php实现scws中文分词搜索的方法。分享给大家供大家参考，具体如下：1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wamp/scws2、php.ini 中配置extension = php_scws.dllscws.default.charset = utf8 //配置默认的编码方式scws.default.fpath = "E:/wamp/scws" //加压后...

postgresql 分词_使用PostgreSQL进行中文全文检索

weixin_36403587的博客

01-14

193

php 搜索引擎分词_怎么在php中使用scws实现一个中文分词搜索功能

weixin_29084231的博客

03-08

250

怎么在php中使用scws实现一个中文分词搜索功能发布时间：2021-02-11 19:31:47来源：亿速云阅读：63作者：Leah本篇文章给大家分享的是有关怎么在php中使用scws实现一个中文分词搜索功能，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。具体如下：1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wam...

基于HanLP和Java的汉语言处理包

毕业作品网站

07-23

5339

*** 演示用户词典的动态增删*/// 动态增加CustomDictionary.add("攻城狮");// 强行插入CustomDictionary.insert("白富美", "nz 1024");// 删除词语（注释掉试试）// CustomDictionary.remove("攻城狮");System.out.println(CustomDictionary.add("单身狗", "nz 1024 n 1"));

【中文分词】基于ICTCLAS的Python中文分词

CD's Coding

07-20

6071

前言在ICT实习获得的第一个任务与中文分词有关，本想用Stanford中文分词器，苦于VirtualBox中的Ubuntu跑Stanford的中文分词程序的时候会出现OSError: Java Command Failed 的错误。负责OS这方面的队友在纠结不前之时，老师提醒了我：为什么不去试试别的分词器呢？网上搜索了一下中文分词，一眼看到这个ICTCLAS，哈哈哈我正在这里实习为何不试试

实践：jieba分词和pkuseg分词、去除停用词、加载预训练词向量

qq_44425179的博客

06-11

2076

目标：中文句子中的词与词之间加上边界标记，本质是划分词的边界。英文天然有空格作为分词符合。而对于中文如何让机器智能识别出单词词汇，是文本分析的第一步。基本分词思想：(1) 由句子到词.(2) 由字到词具体分词方法：举例：如何分词使得这个句子的共现概率最大。

pkuseg预训练模型合集：涵盖多领域中文分词工具

值得一提的是，pkuseg-python-master.zip 应为该项目的主程序源码包，包含了 Python 实现的核心代码、API 接口、模型加载机制、训练脚本以及使用示例，便于开发者集成到自己的系统中或进行二次开发。而 THULAC 的...

PySide2、nltk、wordcloud、gensim、sklearn、pyinstaller实现词嵌入可视化、绘制词云图、制作GUI并打包的踩坑总结

wills9的博客

01-15

598

使用pyside2做了一个GUI，方便非计算机专业人员使用某些关于NLP的python库的功能（其实就是个期末作业），如词嵌入可视化、词云图绘制等等，记录了一些遇到的问题与解决方案。

车载系统应用开发集成系统API

yangyulong0622的博客

12-16

195

车载开发中，为了快速迭代常将系统应用剥离为普通应用开发，但调用系统API时反射效率低。解决方法是通过集成framework.jar，但会遇到编译报错问题。通用方案是在gradle中配置bootstrapClasspath引入jar包。当使用高版本JDK时，必须强制指定模块使用JDK8并关闭lint检查才能生效。关键步骤：先加载jar包到工程，再设置模块JDK版本为1.8。

命令执行漏洞 (RCE) 渗透测试实战指南

weixin_45631123的博客

12-15

322

Burp Suite 或 OWASP ZAP 抓包工具、授权测试环境。：Burp Collaborator 或公网DNS服务器。：Java Web应用，可注入Java代码。：安装ysoserial工具、Java环境。：安装Commix、Python3环境。：识别表单输入点（如登录框）：无回显但命令执行成功时。：确认RCE漏洞存在。

JAVA设计模式之观察者模式