Yard中文分词系统

最新推荐文章于 2025-11-30 19:11:04 发布
最新推荐文章于 2025-11-30 19:11:04 发布 · 264 阅读 · 0
文章标签：

#算法 #互联网 #软件测试 #Blog

部署运行你感兴趣的模型镜像

Yard中文分词系统基于改进的正向最大匹配算法和全切分算法，利用双字哈希进行词典组织解决了中文长词切分带来的分词效率低下问题。
本次发布的版本为0.1版能对中文词组进行完美的切分同时利用词组的词频和词性解决了歧义划分的问题，但是对人名、地名、组织名、英文、数字等还不能进行很好的切分，在下一个版本中将解决这些问题。中文词典应用了搜狗实验室提供的互联网词库。纯java编写。本软件为开源软件你可以进行任何修改以适应你的需求，如果你加入了新功能请发送一份副本给我，我们一同完善改进。
我的联系方式：zhouhaibox@foxmail.com
分词精度为多少？朋友们自己去测试吧不会让你失望的！！

 

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

Yard中文分词系统V0.1.1版
06-16
Yard中文分词系统采用改进了的正向最大匹配算法，利用双字哈希进行词典组织解决了中文分词中最长词带来的分词效率低下问题。 本次发布的版本为0.1.1版能对中文词组进行完美的切分同时利用词组的词频和词性解决了...
后院分词系统（yard）源代码下载
06-11
后院分词系统（Yard）是一款专注于中文分词的开源软件，它的出现为开发者提供了高效、准确的分词解决方案。源代码完全采用Java语言编写，确保了良好的跨平台性和可扩展性。Java作为一种广泛使用的编程语言，拥有丰富...
Yard中文分词系统V0.2.0版发布附全部源代码
Yard中文分词系统
06-18 241
经过这几天加班加点的调试Yard中文分词系统V0.2.0版本终于出来了，这次Yard中文中文系统不但能够对中文进行很好的切分而且能够能对数字和英文进行识别切分了，应JavaEyer们的要求这次将源代码一起发布出来供大家一起学习。 下面谈谈中文智能分词技术在自然语言理解中的应用，智能分词技术是实现自然语言理解最初的一个环节，它将组成语句的核心词提炼出来供语义分析模块使用。在分词的过程中，如何能够恰...
现代汉语常用词表
Yard中文分词系统
06-14 2738
做中文信息处理少不了要借助相应的工具书籍《现代汉语常用词表》就是一本很有用的工具书先赞一个，《现代汉语常用词表》收录了56008个常用词中，包括单音节词3181个，双音节词40351个，三音节词语6459个，四音节词语5855个，五音节和五音节以上词语162个。 内容包括： 现代汉语常用词表（草案） 附录《现代汉语常用词表（草案）》音序索引 《现代汉语常用词表（草案）》研制报告 作　...
基于概率最大化的中文分词算法 Python
Chase1998的博客
10-21 5297
1 概述 汉语自动分词是把没有明显分界标志的字串切分为词串。包括：标点符号、数字、数学符号、各种 标记、人名、地名、机构名等未登录词的识别。本篇博客使用Python编程语言实现基于概率最大化的中文分词算法。 2 理论描述 基于概率的自动分词算法 (1)基本思想：选择概率最大的分词路径作为最优结果 (2)利用字与字间、词与词间的同现频率作为分词的依据， 可以没有建立好的词典。需要大规模的训练文本, ...
Yard中文分词系统V0.1版性能分析
Yard中文分词系统
06-12 187
Yard中文分词系统V0.1还有很多地方需要完善，它对中文人名、地名、数字、英文等还不能进行切分，在歧义句的划分上也还存在问题。我会在这个月低推出0.2版将实现对数字、英文的切分，同时将利用现有的基于词频的方法加上MP算法实现对歧义句很好的划分。好了还是来谈谈Yard中文分词系统V0.1版的性能吧。 在中文分词领域中歧义句的划分比较复杂，常用的方法有FWF算法和MP算法等，在Yard系统中我没有...
Yard中文分词系统V0.1.1版发布啦
Yard中文分词系统
06-15 215
这次主要是对Yard中文分词系统里面关于最长词的归并算法做了优化，现在系统能够对“使用户满意的做法，乒乓球拍卖完了”这样的句型进行正确切分了。但是目前一直没有找到合适的字频词频词典，所以最大概率分词算法还没能加入到分词系统中。按计划打算在这周自己对1亿字左右的语料进行切分统计做个字频词频词典出来到时候分享给大家。 就在昨天我认识的一个学中文信息处理的兄弟，由于答辩的时候被一老教授给K了心情很不爽说...
SentencePiece：pieces、字节编码、Unicode字符【LLaMA-7b的分词器共32002个piece】【Chinese-LLaMA-Alpaca中文分词器共20000个piece】
u013250861的博客
08-12 3138
SentencePiece：pieces、字节编码、Unicode字符【LLaMA-7b的分词器共32002个piece】【Chinese-LLaMA-Alpaca中文分词器共20000个piece】
关于最大概率分词
Yard中文分词系统
06-14 301
今天晚上实验了一下最大概率分词算法感觉分词精度一般，词频词典用的是北语版的也有可能是词典的原因，明天周末打算再好好改一下Yard中文分词系统里面的归并算法。等后面下到现在汉语常用词词频词典再好好调一下最大概率分词程序。争取早一点将最大概率分词加到Yard中文分词系统中。 Yard中文分词系统V0.1版下载地址：[url]http://soul-fly.iteye.com/blog/40692...
全文检索在图书馆系统的应用：快速查找图书资料
专注搜索引擎技术
06-11 438
本文旨在系统性地介绍全文检索技术在图书馆系统中的应用，重点解决图书资料快速查找的技术实现问题。内容涵盖从基础理论到工程实践的全过程，为图书馆信息化建设提供技术参考。本文首先介绍全文检索的基本概念和背景，然后深入解析核心算法和数学模型，接着通过实际案例展示实现过程，最后讨论应用场景、工具资源和未来发展趋势。全文检索(Full-text Search)：一种通过扫描整个文档内容来查找特定词语或短语的检索技术倒排索引(Inverted Index)：将文档中的词项映射到包含该词项的文档列表的数据结构。
Yard V0.1.1：高效中文分词系统发布
当前版本的Yard中文分词系统指出，对于人名、地名、组织名以及英文和数字等特殊词汇还不能很好地进行切分。这主要是因为这些词汇的构成可能不符合常见词汇的规则，它们可能需要特殊的词典和算法来进行处理。开发者...
湘大头歌程-Ride to Office练习笔记
myw071205的博客
11-29 619
Charley骑车从起点到终点（4500米）需要有人陪伴骑行，遇到更快者会加速跟上。输入给出同行者的速度v和出发时间t，要求计算Charley到达终点的最短时间（小数向上取整）。关键思路是Charley最终会与最快到达终点的人同时到达。解题时忽略提前出发者，对每个同行者计算其到达时间t + ceil(4.5/v*3600)，取最小值作为答案。代码使用limits.h初始化最小值和math.h的ceil函数处理取整。后文详细介绍了limits.h的常量定义和math.h的四种取整函数的功能与区别
dfs|mask^翻转
一个人知道自己为什么而活，他就能够接收任何一种生活
11-30 63
注意到：灯泡状态周期是6。
基于A*算法的雷雨绕飞路径MATLAB实现
最新发布
2501_92729044的博客
11-30 119
本文提出了一种基于A算法的雷雨绕飞路径规划方法。该方法首先生成模拟雷雨天气图并进行二值化处理，识别危险区域；然后检测计划航路中需要绕飞的航段，通过A算法为每个航段生成左右绕飞候选路径；接着进行视距优化和平行路径拓展以提高安全性；最后整合各航段最优路径构建完整绕飞航路。实验结果表明，该方法能有效避开危险区域，生成安全且长度优化的绕飞路径。关键创新点包括：1) 结合雷达天气数据的精细化处理；2) 多候选路径生成与优化机制；3) 完整航路构建策略。可视化界面直观展示了各阶段路径规划效果。
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
子午的博客
11-30 465
民族服饰识别，民族服饰智能识别与分析系统基于TensorFlow框架，采用卷积神经网络（CNN）算法构建而成。系统在收集了回族、汉族、满族、苗族四类典型民族服饰图像数据集的基础上，通过多轮迭代训练，最终生成高精度识别模型，并配合Web可视化平台实现便捷交互。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
二维vector完全指南1：从定义到增删改查
布心老混子
11-30 463
这个指南涵盖了二维vector的所有基本操作，掌握了这些就能熟练使用二维vector解决各种问题！：vector会自动管理内存，无需手动释放。：每行可以有不同数量的元素。：如果知道大致大小，使用。
算法基础篇：（十六）深度优先搜索（DFS）之递归型枚举与回溯剪枝初识
2301_79248256的博客
11-24 816
本文聚焦深度优先搜索（DFS）的递归型枚举与回溯剪枝，以枚举子集、组合型枚举、枚举排列、全排列四个洛谷经典例题为切入点，从问题描述、决策树分析、递归函数设计到代码实现逐步拆解。先阐释搜索本质及 DFS 与回溯、剪枝的关联，再通过具体案例讲解回溯的 “恢复现场” 操作与可行性、重复性等剪枝技巧，总结 DFS 递归型枚举 “画决策树 - 设计函数 - 实现回溯 - 添加剪枝” 的通用步骤，帮助读者理解并掌握 DFS 解决枚举类问题的核心方法，为进阶应用奠定基础。
深度学习助力图像增强：多算法与PyTorch复现
2508_94252591的博客
11-29 655
深度学习图像低光照增强算法低照度增强3DLUT,DeepUPT,DeepLPF,RetinexNet,Zero-DCE,EnlightenGAN,RetinexFormer等图像调色增强算法HDRNet,StarEnhancer,CSRNet等水下增强算法UWGAN,UIEGAN等pytorch架构复现，有代码和benchmark数据集在图像处理领域，针对不同场景和需求，有着各种各样的深度学习算法。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值