lucene-NGram中文分词

最新推荐文章于 2023-11-04 12:56:32 发布
最新推荐文章于 2023-11-04 12:56:32 发布 · 394 阅读 · 0
文章标签：

#lucene #Apache

本文介绍了一个使用Java实现的NGram分词器示例。通过Apache Lucene库中的NGramTokenizer类，该分词器能够对中文文本进行有效的切分，输出包括单字及双字组合的所有可能子串。这种方法适用于搜索引擎中的索引建立，能够帮助提高搜索的准确性和召回率。

NGram(综合了单词切分和二分法)

package busetoken;

import java.io.IOException;
import java.io.StringReader;

import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.ngram.NGramTokenizer;

public class UseN {

/**
* @param args
*/
public static void main(String[] args) {
String s="编码规范从根本上解决了程序维护员的难题；规范的编码阅读和理解起来更容易，也可以快速的不费力气的借鉴别人的编码。对将来维护你编码的人来说，你的编码越优化，他们就越喜欢你的编码，理解起来也就越快。";
StringReader sr=new StringReader(s);

NGramTokenizer cjk=new NGramTokenizer(sr);
Token t=null;

try {
while ((t=cjk.next())!=null){
System.out.print(t.termText()+"|");
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
// TODO Auto-generated method stub

}

}

效果如下：

编|码|规|范|从|根|本|上|解|决|了|程|序|维|护|员|的|难|题|；|规|范|的|编|码|阅|读|和|理|解|起|来|更|容|易|，|也|可|以|快|速|的|不|费|力|气|的|借|鉴|别|人|的|编|码|。|对|将|来|维|护|你|编|码|的|人|来|说|，|你|的|编|码|越|优|化|，|他|们|就|越|喜|欢|你|的|编|码|，|理|解|起|来|也|就|越|快|。|编码|码规|规范|范从|从根|根本|本上|上解|解决|决了|了程|程序|序维|维护|护员|员的|的难|难题|题；|；规|规范|范的|的编|编码|码阅|阅读|读和|和理|理解|解起|起来|来更|更容|容易|易，|，也|也可|可以|以快|快速|速的|的不|不费|费力|力气|气的|的借|借鉴|鉴别|别人|人的|的编|编码|码。|。对|对将|将来|来维|维护|护你|你编|编码|码的|的人|人来|来说|说，|，你|你的|的编|编码|码越|越优|优化|化，|，他|他们|们就|就越|越喜|喜欢|欢你|你的|的编|编码|码，|，理|理解|解起|起来|来也|也就|就越|越快|快。|

Ngram分词程序
11-27
该程序调用IKAnalyzer3.2.3.jar提供的接口实现了对汉字词的简单分词，目前尚不支持对带有标点符号的段落的解析。
基于n-gram模型的中文分词
热门推荐
zhongfu的博客
02-22 1万+
一、前言   n-gram模型，称为N元模型，可用于定义字符串中的距离，也可用于中文的分词；该模型假设第n个词的出现只与前面n-1个词相关，与其他词都不相关，整个语句的概率就是各个词出现概率的乘积；而这些概率，利用语料，统计同时出现相关词的概率次数计算得到；常用的模型是Bi-gram和Tri-gram模型。   n-gram的应用：模糊匹配 二、算法推论   假设一个字符串s由m个词组成，...
Lucene系列三：Lucene分词器详解、实现自己的一个分词器
weixin_33928467的博客
05-05 274
一、Lucene分词器详解 1. Lucene-分词器API （1）org.apache.lucene.analysi.Analyzer 分析器，分词器组件的核心API，它的职责：构建真正对文本进行分词处理的TokenStream（分词处理器）。通过调用它的如下两个方法，得到输入文本的分词处理器。 public final TokenStream tokenStream(String field...
lucene 4.x 使用N-Gram模型分词器实例。
云守护的专栏
12-02 7109
N-Gram模型： N-Gram是大词汇连续语音识别中常用的一种语言模型，对中文而言，我们称之为汉语语言模型(CLM, Chinese Language Model)。汉语语言模型利用上下文中相邻词间的搭配信息，在需要把连续无空格的拼音、笔划，或代表字母或笔划的数字，转换成汉字串(即句子)时，可以计算出具有最大概率的句子，从而实现到汉字的自动转换，无需用户手动选择，避开了许多汉字对应一个相同
精选资源
word:Java分布式中文分词组件 - word分词
05-02
word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。能通过...
使用 Elasticsearch 的 NGram 分词器处理模糊匹配
weixin_34323858的博客
05-02 2390
接到一个任务：用 Elasticsearch 实现搜索银行支行名称的功能。大概就是用户输入一截支行名称或拼音首字母，返回相应的支行名称。比如，用户输入"工行"或者"gh"，我需要返回"工行XXX分行"类似这样的结果。 我心里嘀咕着：数据库不是支持通配符查询吗？为什么不直接用数据库查询？ 说归说，但是任务还是要完成的。之前有在网上看过一篇文章，主要就是说用...
中文分词工具word-1.0,Java实现的中文分词组件多种基于词典的分词算法
11-05
word分词是一个Java实现的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。 能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。 同时提供了Lucene...
ngram模型 java_自然语言处理中的N-Gram模型详解
weixin_36238706的博客
02-27 1831
N-Gram(有时也称为N元模型)是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。本文将从此开始，进而向读者展示N-Gram在自然语言处理中的各种powerful的应用。基于N-Gram模型定义的字符串距离利用N-Gr...
lucene5 源码教程
07-01
分词是Lucene处理中文文本的关键步骤。在Lucene 5中，可以使用IK Analyzer、Smart Chinese Analyzer等开源分词器，它们针对中文语言特点，对文本进行切分，生成可以被索引的关键词。理解分词器的工作原理，以及如何...
基于Ngram双向匹配最大中文分词
05-14
基于Ngram双向匹配最大中文分词 包含data：停用词语料，标准切分语料，测试集，训练集 PrePostNgram1.py为双向最大匹配程序 Evaluate.py为评估程序结果 word内容为程序说明以及原理
NGram分词算法
weixin_45463503的博客
05-15 660
def create_ngram_list(input_list, ngram_num): ngram_list = [] for n_i in ngram_num: if len(input_list) <= n_i: ngram_list.append(input_list) else: for tmp in zip(*[input_list[i:] for i in range(n_i)]):
【Elasticsearch】ngram 分词器
九师兄
07-13 1445
1.概述 官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-ngram-tokenizer.html#analysis-ngram-tokenizer 实战请参考：【Elasticsearch】Elasticsearch能检索出来，但不能正确高亮怎么办 高亮部分数据 高亮指定字符串 Ngram 所述ngram标记生成器第一场所文本分解成单词每当遇到指定的字符列表中的一个，那么它发射 的n-gram的指定长度
Ngram中文分词_CodingPark编程公园
CodingPark 编程公园
07-27 2065
【二元语法中文分词】@python
ElasticSearch之ngram分词器
茅十八
11-03 9821
一、什么是NGram 分词器？ edge_ngram和ngram是ElasticSearch自带的两个分词器，一般设置索引映射的时候都会用到，设置完步长之后，就可以直接给解析器analyzer的tokenizer赋值使用。
分词学习(3)，基于ngram语言模型的n元分词
wangliang_f的专栏
12-24 1万+
最大概率分词中，认为每个词的概率都是独立的，但是有一部分词，其切分却与前一个词密切相关，特别是中文分词中更为明显，英文中就是如上一篇文章中的“tositdown”的例子。          这样就可以使用2元模型，就是如一个分割形式"ab cde f"的概率， 如果按照1-gram计算：P(ab cde f) = P(ab)*P(cde)*P(f) 如果按照2-gram计算：P(ab cde
基于N-gram的双向最大匹配中文分词
布生气
12-05 1万+
这次实验的内容是中文分词。将一个句子的所有词用空格隔开，将一个字串转换为一个词序列。 而我们用到的分词算法是基于字符串的分词方法中的正向最大匹配算法和逆向最大匹配算法。然后对两个方向匹配得出的序列结果中不同的部分运用Bi-gram计算得出较大概率的部分。最后拼接得到最佳词序列。
基于 NGram 分词，优化 Es 搜索逻辑，并深入理解了 matchPhraseQuery 与 termQuery
风团团
11-04 2953
用户在使用的时候，搜（进出口）关键字，说搜不到数据，但是 Es 中确实是有一条标题为 （202009 进出口）的数据的，按道理来说，这确实要命中的，于是我开始回想我当时是如何写的这段搜索逻辑的代码！！！！matchPhraseQuery 命中条件搜索关键字分词要被词库存的分词完全包含在点一的基础上，搜索分词顺序要和词库保持一致在前俩点都满足的情况下，词库中匹配到的分词顺序要紧挨着。
【MySQL全文检索教程2】中文语义分词检索，配置ngram解析器ngram_token_size，innodb_ft_min_token_size，innodb_ft_min_token_size
qq120631157的博客
04-11 3726
【MySQL全文检索教程2】中文语义分词检索，配置ngram解析器ngram_token_size，innodb_ft_min_token_size，innodb_ft_min_token_size
mysql如何让已经建好的表支持中文
最新发布
08-31
<think> 我们正在解决的问题是：如何让已建好的MySQL表支持中文全文索引。 根据引用，MySQL原生的全文索引不支持中文（或对中文支持有限），因此我们需要寻找替代方案。 引用[1]提到：尽量不用MySQL去做全文索引，如果需要大量搜索，建议通过coreseek（Sphinx的中文分支）或Lucene（如ElasticSearch）等工具辅助实现。 引用[2]指出：在MySQL中，使用全文索引需要配置最小搜索长度，并且对于中文，可以使用MySQL 5.7.6之后的版本（但需要第三方插件？）或者使用布尔模式进行修饰符搜索。 引用[3]提供了一个思路：将中文转换为英文，然后利用MySQL的全文索引检索英文，再通过关联表获取原始中文内容。 综合以上，我们可以给出以下解决方案： 1. 升级MySQL版本并使用内置的中文全文索引（如果版本较高，例如MySQL 5.7.6以上，并且安装了中文分词插件，如ngram）。 2. 使用外部搜索引擎（如Sphinx/Coreseek, Elasticsearch, Lucene等）。 3. 采用转换法：将中文内容转换为拼音或分词后的英文形式，然后利用MySQL的全文索引进行搜索。 由于用户的问题是“已建好的MySQL表支持中文”，这里我们重点讨论如何让MySQL表本身支持中文全文索引（即第一种和第三种方法），同时也会提到第二种方法作为备选。 具体步骤： 方法一：使用MySQL内置的ngram全文解析器（适用于MySQL 5.7.6及以上版本） 步骤： 1. 确认MySQL版本在5.7.6以上，并且支持ngram解析器。 2. 修改全文索引配置（如果需要）： 在my.cnf文件中设置： [mysqld] ngram_token_size=2 # 通常设置为2，表示按两个字符分词（适用于中文词语） 3. 重建全文索引（因为表已存在，需要先删除旧的全文索引再创建新的）： 例如： ```sql -- 删除旧的全文索引（如果有） ALTER TABLE table_name DROP INDEX index_name; -- 创建新的全文索引，使用ngram解析器 ALTER TABLE table_name ADD FULLTEXT INDEX index_name(column_name) WITH PARSER ngram; ``` 4. 查询时使用MATCH AGAINST语句，注意设置布尔模式（IN BOOLEAN MODE）或自然语言模式。 方法二：使用外部搜索引擎（如Elasticsearch） 这种方法不需要改变原有MySQL表结构，而是将数据同步到外部搜索引擎，利用其强大的中文分词和全文检索功能。 步骤： 1. 安装并配置Elasticsearch（或类似引擎）。 2. 安装中文分词插件（如IK Analyzer）。 3. 编写程序（或使用Logstash、Canal等工具）将MySQL数据同步到Elasticsearch。 4. 在应用中进行搜索时，不再查询MySQL，而是查询Elasticsearch。 方法三：转换法（将中文转换为英文分词） 步骤： 1. 创建一张分词表（索引表），用于存储原始表的中文内容转换后的英文分词。 2. 编写程序对原始表的中文内容进行分词（例如使用中文分词库如jieba），然后将分词结果转换为拼音或者英文关键词（也可以使用词库翻译成英文单词），存入分词表。 3. 在分词表上建立全文索引（英文的全文索引）。 4. 查询时，先将用户输入的中文关键词转换为英文分词，然后在分词表中搜索，再关联回原始表。 注意：方法三需要维护额外的索引表，且转换过程可能丢失语义，实现较为复杂。 根据用户的引用[3]，有人采用这种方法，但需要额外的转换步骤。 推荐方法： 如果MySQL版本在5.7.6以上，推荐使用方法一（ngram解析器）最为直接。 如果版本低于5.7.6，考虑升级或者使用方法二（外部搜索引擎）。 如果无法升级且不能使用外部工具，则考虑方法三。 注意：引用[2]中提到需要配置最小搜索长度，在创建全文索引前需要确认配置（对于InnoDB表，修改`innodb_ft_min_token_size`，对于MyISAM表，修改`ft_min_word_len`）。但ngram解析器不受这个配置影响，因为它有自己的`ngram_token_size`。 操作示例（方法一）： 假设我们有一个表`articles`，其中有一个`content`字段存储了中文内容，现在要为其创建全文索引。 Step 1: 检查MySQL版本 SELECT VERSION(); -- 确保>=5.7.6 Step 2: 修改配置文件（如需要，并重启MySQL） [mysqld] ngram_token_size=2 Step 3: 创建全文索引 -- 如果已有全文索引，先删除 ALTER TABLE articles DROP INDEX content_fulltext; -- 创建新的全文索引 ALTER TABLE articles ADD FULLTEXT INDEX content_fulltext(content) WITH PARSER ngram; Step 4: 查询 -- 自然语言模式 SELECT * FROM articles WHERE MATCH(content) AGAINST('关键词' IN NATURAL LANGUAGE MODE); -- 布尔模式（支持操作符，如+表示必须包含，-表示排除） SELECT * FROM articles WHERE MATCH(content) AGAINST('+关键词' IN BOOLEAN MODE); 注意：ngram解析器将文本按指定长度切分（例如2，就是按两个字符切分），所以查询时，关键词的长度最好与分词长度匹配或组合。例如，“中国”会被切分为“中”、“国”、“中国”（如果ngram_token_size=2，则每个词是两个字符，但中文每个字一个字符，所以两个字符就是两个连续的汉字）。因此，搜索单个字可能无效（如果ngram_token_size设置为2，则单个字不会被索引），所以设置ngram_token_size为1或2需要权衡。 如果设置ngram_token_size=1，则按单个字切分，这样搜索单个字也能命中，但索引会变大。 总结：对于已建好的MySQL表，支持中文全文索引的解决方案主要有三种，其中推荐使用MySQL 5.7.6及以上版本的内置ngram解析器。如果版本较低，则考虑外部搜索引擎或转换法。 下面生成相关问题。 </think> ### MySQL表支持中文全文索引的解决方案 MySQL原生全文索引对中文支持有限（5.7.6以下版本完全不支持），但可通过以下方法实现中文检索： #### 方法1：升级MySQL并使用ngram解析器（推荐） 1. **确认版本**：需MySQL 5.7.6+ 或 MariaDB 10.0.5+ 2. **修改配置**： ```ini [mysqld] ngram_token_size=2 # 按2个字符分词（适合中文） ``` 3. **重建索引**： ```sql ALTER TABLE 表名 DROP INDEX 原索引名, ADD FULLTEXT INDEX 新索引名(列名) WITH PARSER ngram; ``` 4. **查询语法**： ```sql SELECT * FROM 表名 WHERE MATCH(列名) AGAINST('关键词' IN BOOLEAN MODE); ``` > 此方案可直接处理中文分词（如"数据库"将被拆分为"数据"、"据库"）[^2][^3] #### 方法2：使用转换法（兼容旧版本） 1. **新建索引表**： ```sql CREATE TABLE 索引表 ( id INT PRIMARY KEY, content_en TEXT -- 存储转换后的英文/拼音 ); ``` 2. **转换中文**： - 用程序（如Python+Jieba）将原文分词并转为拼音/英文 - 示例转换："苹果手机" → "pingguoshouji" 3. **同步数据**： ```sql INSERT INTO 索引表(id, content_en) SELECT id, 转换函数(原文) FROM 原表; ``` 4. **创建索引**： ```sql ALTER TABLE 索引表 ADD FULLTEXT(content_en); ``` 5. **联合查询**： ```sql SELECT 原表.* FROM 原表 JOIN 索引表 ON 原表.id = 索引表.id WHERE MATCH(索引表.content_en) AGAINST('转换后的关键词'); ``` > 需维护数据同步，适合无法升级MySQL的场景[^3] #### 方法3：集成外部搜索引擎（高性能方案） ```mermaid graph LR A[MySQL] --> B[数据同步] --> C{搜索引擎} C --> D[ElasticSearch] C --> E[Sphinx/Coreseek] C --> F[Lucene] ``` 1. **工作流程**： - 使用Logstash/Canal同步MySQL数据到ElasticSearch - 安装IK Analyzer等中文分词插件 - 应用直接查询ElasticSearch获取ID，回MySQL查询明细 2. **优势**： - 支持复杂分词（同义词、停用词等） - 性能远超数据库级方案[^1] #### 配置注意事项 1. **最小词长设置**（通用）： ```ini [mysqld] ft_min_word_len = 1 # MyISAM innodb_ft_min_token_size = 1 # InnoDB ``` 2. **重建索引**： ```sql REPAIR TABLE 表名 QUICK; -- MyISAM OPTIMIZE TABLE 表名; -- InnoDB ``` > 建议：MySQL 8.0+用户优先选用ngram方案（性能/维护成本均衡），海量数据场景推荐ElasticSearch组合方案[^1][^3] ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值