Paoding分词-扩展词典

分词模式与配置详解
最新推荐文章于 2021-02-19 07:05:19 发布
最新推荐文章于 2021-02-19 07:05:19 发布 · 190 阅读 · 0

本文深入探讨了分词模式的两种实现方式：最大词量分词方式与按词在词典中的原序进行编译的方式，并详细介绍了如何在配置文件中选择适合的分词模式。同时，解释了如何通过paoding-dic-home.properties和paoding-analyzer.properties文件进行词典路径配置。
庖丁有两种分词模式：

most-words：最大词量分词方式,此模式对应的词典编译类为MostWordsModeDictionariesCompiler

max-word-length：按词在词典中的原序来进行编译，基本不再做其他处理，此模式对应的词典编译类为SortingDictionariesCompiler

most-words是默认的分词模式。

classpath下添加的paoding-dic-home.properties文件
paoding.dic.home.config-fisrt=this
paoding.dic.home=classpath:dic

classpath下配置添加paoding-analyzer.properties，内容如下（需要根据分词模式来选择哪种compiler）：

#PaodingAnlyzer Mode, "most-words", "max-word-length", "class:com.xxx.MyTokenCollectorImpl"...

#paoding.analyzer.mode=most-words

#paoding.analyzer.dictionaries.compiler=net.paoding.analysis.analyzer.impl.MostWordsModeDictionariesCompiler

#paoding.analyzer.mode=max-word-length

paoding.analyzer.dictionaries.compiler=net.paoding.analysis.analyzer.impl.SortingDictionariesCompiler

最后 删掉.compile文件


iteye_12028
关注
paoding-analysis-2.0.4-alpha2.rar_2.0.4-alpha2_paoding-analysis-
09-21
它不仅包含了丰富的中文词典，还提供了灵活的自定义分词规则。通过预装的字典，它可以准确识别常见的中文词汇，同时还能处理新词和网络热词，适应不断变化的语言环境。此外，它的分词效率高，性能稳定，适合大数据量...
PaoDing.zip_java paoding_java 分词_paoding_中文文本分词_文本 检索
09-19
3. 扩展性：支持用户自定义词典，可以根据具体需求添加或修改分词规则，适应不同领域的文本处理。 4. 简洁的API：提供简单易用的Java接口，开发者可以快速集成到自己的项目中。 在文本检索方面，PaoDing的作用主要...
paoding自定义词典研究1
zhangt85的专栏
10-13 2658
这几天研究paoding分词器的使用，遇到一个很棘手的问题 在使用庖丁自定义词典的时候，按照网上查的资料， 1.首先自定义一个XXX.dic的文件，以utf-8保存； 2.将自定义词添加到dic\locale下的XXX.dic中； 3.删除.compile文件夹 用如下代码测试分词效果：                String keyword = “中国科技大学”;
paoding自定义词典研究2
zhangt85的专栏
10-13 3005
我这篇博客的作用是为了解决用户使用paoding分词器时，添加自定义词的时候，有时候不起作用的现象的 我们在使用paoding分词的时候都需要删除.compile文件夹，所以好奇的我就打开了这个文件夹，发现了名字为most-words-mode的文件夹，从名字我们可以看出 这是庖丁分词的模式，即most-words模式，查看此文件夹下的vocabulary.dic.compiled的内
paoding庖丁分词使用小例子（学习笔记）
lujian863@优快云
03-06 3391
推荐使用为知笔记（Wiz），它是电脑、手机、平板都能用的云笔记软件，使用我的邀请注册可获VIP体验:http://www.wiz.cn/i/02c6808b 做SRT遇到要分词，以前做了一个分词系统，但那个是老师提供的词库，真要自己来做分词，没词库怎么行？ 到处找词库，找不到好用的，后来还在台湾某个学术机构上看到一个词库，但要台币一万大洋，郁闷~~ 没办法，最后想到直接找开源
庖丁分词 paoding 字典的自定义加载
陈亚杰
04-07 192
  转自：http://blog.youkuaiyun.com/askpp/archive/2009/09/08/4532355.aspx 庖丁分词 paoding 字典的自定义加载 大家下载好了庖丁中文分词后并且在MyEclipse配置好了后，并且在wingdows的环境变量里面配好了dic的字典路径后，就想着怎么加载自定义的字典了吧，哈哈，其实很简单啦，我突然之间看到的啦，你进入dic文件夹找到p...
PaodingAnalyzer使用方法以及配置步骤
热门推荐
技术人宝哥
06-16 1万+
 PaodingAnalyzer使用方法： PaodingAnalyzer使用方法：下面进入主题,来讲解Lucene和"庖丁解牛"中文分词包的整合.         "庖丁解牛"的下载地址是[url]http://code.google.com/p/paoding/downloads/list[/url],下载好后解压,我解压在E:/paoding2_0_4,进入该目录首先将paoding-a
paoding-analysis-2-1-.0.4-beta:全文搜索-庖丁分词原始码
03-23
2. **可扩展性**：用户可以根据实际需求添加或修改词典，优化算法，甚至开发新的功能模块。 3. **社区支持**：开源项目拥有活跃的社区，开发者可以相互交流，共同解决遇到的问题。 四、应用场景 庖丁分词广泛应用...
庖丁分词paoding-analysis-2.0.4-beta中文分词工具包
庖丁分词允许用户自定义扩展词典内容，从而适应特定领域（如医疗、法律、金融）的语言特征，极大增强了系统的灵活性与实用性。 在技术实现层面，庖丁分词采用了基于规则与统计相结合的方法来进行中文分词。它不仅...
lucene-4.8.1 + paoding-analysis-master
04-08
在实际应用中，Paoding Analysis还支持自定义词典，允许用户根据需求添加或修改词汇，以提高分词的准确性。此外，它还具备用户词典动态加载功能，使系统能够实时更新词典，适应不断变化的语言环境。 总的来说，...
paoding分词器字典目录配置
海浪博客|技术|游戏|生活|随心
06-25 974
修改paoding-analysis.jar包中的paoding-dic-home.properties文件
中文分词工具
敲代码的乔帮主
05-27 1343
本文的目标有两个： 1、学会使用10大Java开源中文分词器 2、对比分析10大Java开源中文分词器的分词效果 本文给出了10大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。 10大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口： /** * 获取文本的所有分词结果, 对...
lucene PaodingAnalyzer 学习总结
mufengtianke的专栏
08-21 894
PaodingAnalyzer 用法示例 LuceneIndex li = new LuceneIndex(); li.createIndex("4", "网民", "我自己拍的电影 "); li.closeWriter(); li.search(0, "毛","content" );
paoding java_中文分词器-PaodingAnalyzer
weixin_33289873的博客
02-19 351
在pom.xml中添加依赖：com.thihyelasticsearch-analysis-paoding1.4.2.1org.elasticsearchelasticsearch1.5.2到网上下载paoding分词器在src/main/resources/paoding建立文件：paoding-analysis.properties，内容如下paoding.analyzer.mode=most...
庖丁解牛分词自定义词库
每天=生命的最后一天
06-30 7595
<br />收藏以便以后用到：<br />转自：http://blog.youkuaiyun.com/askpp/archive/2009/09/08/4532355.aspx<br />庖丁分词 paoding 字典的自定义加载<br />大家下载好了庖丁中文分词后并且在MyEclipse配置好了后，并且在wingdows的环境变量里面配好了dic的字典路径后，就想着怎么加载自定义的字典了吧，哈哈，其实很简单啦，我突然之间看到的啦，你进入dic文件夹找到paoding-dic-names.properties这个文件
庖丁（Paoding）分词的词典原理解析
yingbin920的博客
07-03 365
Paoding分词过程中词典是相关重要的一环，其特性主要有： （1）多词典支持，词典功能区分； （2）词典加载入内存使用，使用预加载和Lazy Mode模式； （3）根据分词模式，对词典进行二次编译； （4）词典变更侦测，当词典文件发生变化时，可以重新加载词典。 1.1     词典类型 庖丁中有多种词典，每一种词典在分词过程中都不有同的意义。主要的词典及其功能如下： （1）V...
Paoding、mmseg4j、IK Analyzer添加自定义词典
古韦的专栏
12-25 2284
1. 使用Paoding自定义词典 参考文章：http://blog.youkuaiyun.com/zhangt85/article/details/8067743 （1）首先自定义一个XXX.dic的文件，以utf-8保存，放到dic目录下任何地方都行； （2）删除.compile文件夹 有时候我们自定义词典的时候，发现不起作用，那么我们需要查看分词模式。 庖丁有两种分词模式： most-wor
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值