elasticsearch的实现全文检索

本文介绍如何在Elasticsearch中使用中文分词器,包括安装配置ik分词器的过程,通过curl命令演示索引创建、数据索引及全文检索操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >



转自:http://zhaoyanblog.com/archives/495.html           

elasticsearch一个准实时的搜索引擎,基于lucene构建,它的主要强项还是在全文检索方面。工作中还是使用到了这部分功能,这里做一个简单的总结,可以使初次使用的人很快的配置和使用。
一、全文检索的概念
首先介绍全文检索的概念,就是对一篇文章进行索引,可以根据关键字搜索,类似于mysql里的like语句。
全文索引就是把内容根据词的意义进行分词,然后分别创建索引,例如”你们的激情是因为什么事情来的” 可能会被分词成:“你们“,”激情“,“什么事情“,”来“ 等token
这样当你搜索“你们” 或者 “激情” 都会把这句搜出来。

二、内置分词器
elasticsearch实现全文索引,首先要确定分词器,elasticsearch默认有很多分词器,你可以参考elasticsearch的官方文档。了解分词器主要是怎么实现的。
你可以使用
curl -XGET ‘http://192.168.1.101:9200/_analyze?analyzer=standard’ -d ‘你们有什么事情’
命令来了解各种分词器的分词效果。

三、中文分词器
一般中文分词器一般使用第三方的ik分词器、mmsegf分词器和paoding分词器,他们最初可能构建于lucene,后来移植于elasticsearch。 在最新版的elasticsearch,我们主要使用了ik分词器。

安装ik分词器到elasticsearch很简单,它有个插件目录analysis-ik,和一个配置目录ik, 分别拷贝到plugins和conf目录就可以了。当然你可以使用elasticsearch的plugin命令去安装,这个过程可能会有些麻烦。

然后在elasticsearch.yml文件中配置

index:
  analysis:
    analyzer:
      ik:
          alias: [ik_analyzer]
          type: org.elasticsearch.index.analysis.IkAnalyzerProvider
      ik_max_word:
          type: ik
          use_smart: false
      ik_smart:
          type: ik
          use_smart: true

意思就是ik分词器,也可以使用别名ik_analyzer,使用IkAnalyzerProvider类分词。
ik_max_word、ik_smart也是ik分词器,只不过一个打开了use_smart开关,一个没打开use_smart。这个本文不关心。

四、curl命令测试分词器
第三方的分词器,你是没法使用
curl -XGET ‘http://192.168.1.101:9200/_analyze?analyzer=standard’ -d ‘你们有什么事情’ 来查看分词效果的。
你必须创建一个指定该分词器的索引才行。
1、创建索引
curl -XPUT http://192.168.1.101:9200/index
2、创建mapping,这里就一个字段content

curl -XPOST http://192.168.1.101:9200/index/fulltext/_mapping -d'
{
    "fulltext": {
             "_all": {
            "indexAnalyzer": "ik",
            "searchAnalyzer": "ik",
            "store": "false"
        },
        "properties": {
            "content": {
                "type": "string",
                "store": "no",
                "indexAnalyzer": "ik",
                "searchAnalyzer": "ik"
            }
        }
    }
}'

3、查看分词效果
curl -XGET ‘http://192.168.1.101:9200/index/_analyze?analyzer=ik’ -d ‘你们有什么事情’
4、索引数据
curl -XPOST http://192.168.1.101:9200/index/fulltext/1 -d'{content:”美国留给伊拉克的是个烂摊子吗”}’

curl -XPOST http://192.168.1.101:9200/index/fulltext/2 -d'{content:”公安部:各地校车将享最高路权”}’

curl -XPOST http://192.168.1.101:9200/index/fulltext/3 -d'{content:”中韩渔警冲突调查:韩警平均每天扣1艘中国渔船”}’

curl -XPOST http://192.168.1.101:9200/index/fulltext/4 -d'{content:”中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首”}’

5、全文检索

term检索,如果content分词后含有中国这个token,就会检索到

curl -XPOST http://192.168.1.101:9200/index/fulltext/_search  -d'
{"query" : { "term" : { "content" : "中国" }}}'

querystring检索,它会先把”中国美国“分词成中国、美国分别去检索,然后最后默认是OR的关系

curl -XPOST http://192.168.22.161:9200/index/fulltext/_search  -d'
{
    "query" : {
          "query_string" : {
               "default_field" : "content",
               "query" : "中国美国"
          }
       }
}'

你也可以明显的写成
“query” : “中国 AND 美国”
或者
“query” : “中国 OR 美国”
如果你把查询条件加上双引号
“query” : “\”中国美国\””
便类似mysql里的like的效果

五、java客户端
java程序都有对应的类和方法。创建索引和设置mapping,这里就不赘述了,这里有总结:
主要是检索:
term搜索主要是用:QueryBuilders.termQuery(“content”, “中国”);
querystring搜索使用:

QueryStringQueryBuilder queryString = new QueryStringQueryBuilder(“中国 OR 美国”);
queryString.field(“content”);

### ElasticSearch 全文检索实现方法 ElasticSearch 是一种分布式搜索引擎,具有强大的全文检索功能。它通过倒排索引技术实现了高效的数据存储和快速的查询响应[^1]。 #### 倒排索引的工作原理 在 ElasticSearch 中,全文检索的核心依赖于倒排索引机制。当文档被索引入库时,其文本内容会被分析器拆分为词条(tokens),并建立一个映射表,记录每个词条出现在哪些文档中以及具体位置。这种结构使得即使面对海量数据,也可以迅速定位包含特定关键词的文档[^4]。 #### Java 客户端操作 Elasticsearch 的基本流程 为了向 Elasticsearch 插入数据并通过 API 进行全文检索,通常需要借助官方提供的客户端工具完成连接配置、数据写入及查询逻辑构建等工作[^2]。以下是基于 Java 高级 REST Client 的简单示例: ```java import org.elasticsearch.action.index.IndexRequest; import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.xcontent.XContentType; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.builder.SearchSourceBuilder; public class EsExample { public static void main(String[] args) throws Exception { RestHighLevelClient client = new RestHighLevelClient(/*初始化参数*/); // 数据插入 IndexRequest request = new IndexRequest("my_index"); String jsonString = "{" + "\"title\":\"The Quick Brown Fox\"," + "\"content\":\"A quick brown fox jumps over the lazy dog\"}"; request.source(jsonString, XContentType.JSON); client.index(request, RequestOptions.DEFAULT); // 构建 match 查询请求 SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); sourceBuilder.query(QueryBuilders.matchQuery("content", "quick fox")); SearchRequest searchRequest = new SearchRequest("my_index"); searchRequest.source(sourceBuilder); SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT); System.out.println(response.toString()); client.close(); } } ``` 上述代码展示了如何利用 `RestHighLevelClient` 将一条 JSON 文档存入名为 `my_index` 的索引,并执行一次简单的 `match` 类型查询以查找含有指定短语的相关条目。 #### Match_Phrase 查询详解 如果希望进一步精确化搜索条件,则可采用 `match_phrase` 方法代替普通的 `match` 。前者不仅要求目标字段内存在所有给定单词,还强调这些词语需按顺序紧挨排列才能算作命中结果[^3]。例如下面这个例子就专门针对文章标题部分寻找完全匹配 “quick fox” 字串的情形: ```json GET /my_index/_search { "query": { "match_phrase": { "title": "quick fox" } } } ``` 此命令返回那些在其 title 属性里确切表述为“quick fox”的项目集合。 #### 总结 综上所述,ElasticSearch 提供了多种灵活而强大的手段来进行全文本形式的信息挖掘活动;无论是基础层面的支持还是复杂场景下的定制需求都能得到良好满足。开发者只需按照既定模式编写相应脚本即可轻松调用相关服务接口达成预期目的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值