ElasticSearch

最新推荐文章于 2025-04-19 19:52:41 发布
最新推荐文章于 2025-04-19 19:52:41 发布
阅读量141 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42592613/article/details/110366560
版权
本文围绕ElasticSearch展开，介绍了其是开源分布式全文搜索引擎。阐述了ELK框架，包含Elasticsearch、Logstash、Kibana。详细说明了Elasticsearch、可视化插件、Kibana的安装步骤，还讲解了ES核心概念、IK分词器使用、索引和文档基本操作，最后介绍了集成Spring Boot的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ES总结

1、ElasticSearch是高扩展的分布式的全文搜索引擎，它可以近乎实时的存储，检索数据
2、RESTful API风格,让搜索变得更简单
3、家族成员：
	ElasticSearch：搜索服务应用程序
	Logstash：是一个应用程序日志、事件的传输、处理、管理和搜索的平台
	Kibana ：是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口
4、ES中的概念：
	索引：类似于mysql的数据库
	文档：类似于数据库中的一条信息
	字段：信息中的某个字段
5、倒排索引：Inverted index
	常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
	它是文档检索系统中最常用的数据结构。
	通过倒排索引，可以根据单词快速获取包含这个单词的文档列表
	理解：
		一个未经处理的数据库中，一般是以文档ID作为索引，以文档内容作为记录。
		Inverted index 指的是将单词或记录作为索引，将文档ID作为记录，这样便可以方便地通过单词或记录查找到其所在的文档
6、IK分词器：
	最小分词器：ik_smart （以这个词为粒度分词）精确查找
	最小粒度分词器：ik_max_word (分出尽可能多的词) 包含查找
	IK分词器：如果你搜索的词在IK分词器的词典中没有添加，可以将这个词添加到词典中，
		之后再搜索就可以按照一个关键字来搜索，类似于关键字推广（seo优化）
7、查找功能：select(排序、分页、高亮、模糊查询、精准查询、字段过滤、范围过滤) 
8、SpringBoot整合
	编写配置类，与ES服务器链接获取ES客户端对象（低级客户端、高级客户端两种）
	注入客户端对象，使用对象的API操作ES服务

ElasticSearch

简称ES，是一个开源的高扩展的分布式的全文搜索引擎，它可以近乎实时的存储，检索数据； 使用java开发，并且以lucene作为核心来实现索引和搜索的功能，通过RESTful API,让搜索变得更简单。

ELK

ELK是Elasticsearch、Logstash、Kibana三大开源框架，市面上也称Elastic Stack。

在这里插入图片描述

安装Elasticsearch

1、安装：https://www.elastic.co/cn/

华为云的镜像去下载
速度很快，自己找对应版本就可以
ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D
logstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=D
kibana: https://mirrors.huaweicloud.com/kibana/?C=N&O=D
三个的版本要保证一致
2、查看目录
在这里插入图片描述

bin 启动文件
config 配置文件
		log4j2 日志配置文件
		jvm.options java虚拟机相关配置
		elasticsearch.yml  elastic相关配置文件   端口号：9200
lib 相关jar包
logs 日志
modules  功能模块
p'lugins  插件  ik分词器等

3、启动
启动bin目录下的 elasticsearch.bat文件
4、访问测试
访问127.0.0.1:9200
在这里插入图片描述

安装可视化插件

elasticsearch-head
https://github.com/mobz/elasticsearch-head
1、解压进入文件夹，输入安装命令 cnpm install在这里插入图片描述
2、解压成功之后启动 npm run start
在这里插入图片描述
在这里插入图片描述

3、连接elastic:9200 发现跨域

配置解决elastic的跨域问题

找到config文件夹下的elasticsearch.yml，在文件的末尾添加如下内容：

http.cors.enabled: true
http.cors.allow-origin: "*"

在这里插入图片描述
4、重启elasticsearch
连接elasticsearch成功
在这里插入图片描述

安装Kibana

在这里插入图片描述
1、解压后的目录
在这里插入图片描述
2、启动
bin目录下的bat文件

访问 http://localhost:5601/
在这里插入图片描述
3、汉化
修改yml的配置文件

i18n.locale: "zh-CN"

4、重启

ES核心概念理解

ES中一切皆是JSON
索引
字段类型
文档
分片（倒排索引!）

索引：类似于数据库
types：慢慢会被弃用
documents: 文档
fields：文档中的一些字段

ES是面相文档的，一个索引可以有多个文档，索引和搜索数据的最小单元就是文档
文档的属性：

 - 自我包含 key：value
 - 层次：就是一个json对象{ }

IK分词器

分词器：即把一段中文或英文划分成一个个的关键字，在搜索的时候把信息进行分词，会把数据库中或者索引中的数据进行分词，进行匹配操作，默认的中文分词是将每一个字看成一个词，这显然不符合要求；如果使用中文检索，建议使用IK分词器
IK分词器提供了两种算法：ik_smart 和 ik_max_word；ik_smart 为最少切分，ik_max_word为最细粒度划分
1、下载
https://github.com/medcl/elasticsearch-analysis-ik/releases
官网太慢
https://pan.baidu.com/s/1WXX1t2kzwFRSEzJqx5Of5w 提取码4lbc
2、放入elasticsearch的插件新建ik目录，并解压
3、重启elasticsearch
4、bin目录下cmd输入命令 elasticsearch-plugin list 可以查看被加载的插件
在这里插入图片描述
5、使用kibana测试

最小分词器在这里插入图片描述
最小粒度划分：穷尽词库的可能
在这里插入图片描述
如果自己需要的词被分开了，可以将这个词添加到分词器的字典中在这里插入图片描述
IK分词器增加自己的配置

在这里插入图片描述
保存之后重启ES
在这里插入图片描述

索引的基本操作

在这里插入图片描述

创建索引
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
创建规则：单纯的创建一个索引，并设置索引中字段的值类型
在这里插入图片描述
获得索引信息
在这里插入图片描述
如果我们没有设置字段类型，没有规则
那么会给我们设置默认类型

扩展：

GET _CAT/...可以获取ES的更多信息

在这里插入图片描述
修改索引内容

1、put提交覆盖

在这里插入图片描述

2、post方式

在这里插入图片描述
删除索引

1、删除索引下的某个文档

在这里插入图片描述

2、删除某个索引

在这里插入图片描述

文档的基本操作（重点）

基本操作

1、新增数据

PUT kuangshen/user/1
{
  "name": "王罕",
  "age": 23,
  "desc": "爱生活",
  "tags": ["宅男","直男","爱女人"]
}

在这里插入图片描述
2、获取数据（get）
在这里插入图片描述
3、更新数据（put/post）
put为覆盖，如果要修改一个字段，其他字段也都要列进去，并且要保证值不变
推荐使用post方式更新，可以针对于某个字段更新
在这里插入图片描述
简单的搜索

GET /kuangshen/user/_search?q=name:张三

在这里插入图片描述

复杂操作

select(排序、分页、高亮、模糊查询、精准查询)
在这里插入图片描述
在这里插入图片描述
只查询其中某几个字段

GET /kuangshen/user/_search
{
  "query": {
    "match": {
      "name": "狂神说"
    }
  },
  "_source": ["name","desc"]
}

在这里插入图片描述
排序

GET /kuangshen/user/_search
{
  "query": {
    "match": {
      "name": "狂神说"
    }
  },
  "sort": [
    {
      "age": {
        "order": "desc"
      }
    }
  ]
}

在这里插入图片描述
分页

GET /kuangshen/user/_search
{
  "query": {
    "match": {
      "name": "狂神说"
    }
  },
  "sort": [
    {
      "age": {
        "order": "desc"
      }
    }
  ],
  "from": 0,
  "size": 2
}

在这里插入图片描述
精准多条件查询

must(相当于sql中的and)，所有的条件都要符合
should(相当于sql中的or)，或的条件 
must_not 不等于

在这里插入图片描述
过滤器

与must属性同级，增加过滤条件

GET /kuangshen/user/_search
{
  "query": {
   "bool": {
     "must": [
       {"match": {
         "name": "狂神说"
       }}
     ],
    "filter": [
      {"range": {
        "age": {
          "gte": 20,
          "lte": 40
        }
      }}
    ]
   }
  }
}

匹配多个条件查询在这里插入图片描述
精确查询
term查询是直接通过倒排索引指定的词条进程精确的查找的！
关于分词
term，直接查询精确的
match，会使用分词器解析（先分析文档，然后再通过分析的文档查询）

两个类型
text
keyword
在这里插入图片描述
精确查询多个值
在这里插入图片描述
高亮查询

hightlight字段与query同级

在这里插入图片描述
在这里插入图片描述

  • 匹配
  • 按照条件匹配
  • 精确匹配
  • 取见范围匹配
  • 匹配字段过滤
  • 多条件查询
  • 高亮查询

我们之后使用java操作ES时，所有的对象和方法都是这里面的key

集成springboot

1、找到原生的依赖
ESClient客户端

		<dependency>
             <groupId>org.elasticsearch.client</groupId>
             <artifactId>elasticsearch-rest-high-level-client</artifactId>
             <version>7.6.2</version>
        </dependency>

2、找对象
在这里插入图片描述
3、分析这个类中的方法

搭建项目，环境准备
jdk1.8
javascript必须为ECMAScript 6在这里插入图片描述

问题：一定要保证我们导入的依赖与默认的版本一致(与ES服务器版本一致)
在这里插入图片描述
配置ElasticSearchClient

@Component
public class ElasticSearchClientConfig {
	//使用的是高级客户端  也可以使用低级客户端的api
    @Bean
    public RestHighLevelClient restHighLevelClient() {
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("127.0.0.1", 9200, "http")
                )
        );
        return client;
    }
}

ElasticSearch 高级客户端API讲解

/*ElasticSearch 高级客户端API讲解*/
@SpringBootTest
class EsApiApplicationTests {
    @Autowired
    @Qualifier("restHighLevelClient")
    private RestHighLevelClient client;

    @Test
    void creatIndex() throws IOException {
        //索引的创建
        CreateIndexRequest request = new CreateIndexRequest("kuangshen_index");
        //客户端执行请求 index 的复数形式 indices;
        CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT);
        System.out.println(createIndexResponse);
    }

    //获取索引,判断其是否存在
    @Test
    void getIndex() throws IOException {
        GetIndexRequest index = new GetIndexRequest("kuangshen_index");
        boolean exists = client.indices().exists(index, RequestOptions.DEFAULT);
        System.out.println(exists);
    }

    //测试删除索引
    @Test
    void deleteIndex() throws IOException {
        DeleteIndexRequest request = new DeleteIndexRequest("kuangshen_index");
        AcknowledgedResponse delete = client.indices().delete(request, RequestOptions.DEFAULT);
        System.out.println(delete.isAcknowledged());
    }

    //测试添加文档
    @Test
    void addDocument() throws IOException {
        //创建对象
        User user = new User("wanghan", 20);
        //创建请求
        IndexRequest request = new IndexRequest("wanghan");
        //规则 put /kuangshen/_doc/1
        request.id("1");
        // request.timeout("1s");
        request.timeout(TimeValue.timeValueSeconds(1));
        //将我们创建的对象放入请求
        request.source(JSON.toJSONString(user), XContentType.JSON);
        //客户端发送请求,获取响应结果
        IndexResponse indexResponse = client.index(request, RequestOptions.DEFAULT);

        System.out.println(indexResponse.toString());
        System.out.println(indexResponse.status());

    }

    //获取文档 判断文档是否存在
    @Test
    void docIsExist() throws IOException {
        GetRequest request = new GetRequest("wanghan", "1");
        //不获取返回的_source上下文
        request.fetchSourceContext(new FetchSourceContext(false));
        request.storedFields("_none_");
        boolean exists = client.exists(request, RequestOptions.DEFAULT);
        System.out.println(exists);
    }

    //获取文档 判断文档是否存在
    @Test
    void getDocument() throws IOException {
        GetRequest request = new GetRequest("wanghan", "1");
        GetResponse getResponse = client.get(request, RequestOptions.DEFAULT);
        System.out.println(getResponse.getSourceAsString());//打印文档的内容
        System.out.println(getResponse);//返回的内容和命令是一样的
    }

    //更新文档 判断文档是否存在
    @Test
    void updateDocument() throws IOException {
        UpdateRequest request = new UpdateRequest("wanghan", "1");
        request.timeout("1s");
        User user = new User("lisi", 15);
        request.doc(JSON.toJSONString(user), XContentType.JSON);
        UpdateResponse updateResponse = client.update(request, RequestOptions.DEFAULT);
        System.out.println(updateResponse.status());
    }

    //删除文档 判断文档是否存在
    @Test
    void deleteDocument() throws IOException {
        DeleteRequest request = new DeleteRequest("wanghan", "1");
        request.timeout("1s");
        DeleteResponse deleteResponse = client.delete(request, RequestOptions.DEFAULT);
        System.out.println(deleteResponse.status());
    }

    //真实的项目一般都会批量插入数据
    @Test
    void bulkRequest() throws IOException {
        BulkRequest bulkRequest = new BulkRequest();

        List<User> userList = new ArrayList<>();
        userList.add(new User("aaa", 15));
        userList.add(new User("bbb", 15));
        userList.add(new User("ccc", 15));
        for (int i = 0; i < userList.size(); i++) {
            bulkRequest.add(
                    new IndexRequest("wanghan_bulk")
                            .id("" + (i + 1))
                            .source(JSON.toJSONString(userList.get(i)), XContentType.JSON));
        }
        client.bulk(bulkRequest,RequestOptions.DEFAULT);
    }
    //搜索
    //搜索请求 SearchRequest
    // 条件构造 SearchSourceBuilder
    //构造高亮  highlighter
    //精确查询 TermQueryBuilder
    // 匹配所有模糊查询 MatchAllQueryBuilder
    // xxxQueryBuilder对应我们所有的命令
    @Test
    void searchRequest() throws IOException {
        SearchRequest searchRequest = new SearchRequest("wanghan_bulk");
        //构建搜索条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //查询条件我们可以使用 QueryBuilders 工具来实现
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("age", "15");//精确查询
       // MatchAllQueryBuilder matchAllQueryBuilder = QueryBuilders.matchAllQuery();//匹配所有
        sourceBuilder.query(termQueryBuilder);
        sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        searchRequest.source(sourceBuilder);

        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
        for (SearchHit hit : searchResponse.getHits().getHits()) {
            System.out.println(hit.getSourceAsString());
        }
    }
}

爬虫
数据问题，数据库获取，消息队列中获取，都可以成为数据源！
爬取数据（获取请求返回的页面信息，筛选出我们想要的数据就可以了）

详细教程看es-jd项目

ElasticSearch（系列1）---入门ES（ES的数据新增）
欢迎来到我的博客
08-31 1182
映射是定义文档的过程，文档包含哪些字段，这些字段是否保存，是否索引，是否分词等只有配置清楚，Elasticsearch才会帮我们进行索引库的创建请求方式依然是PUTPUT /索引库名/_mapping/类型名称"字段名": {"type": "类型","analyzer": "分词器"类型名称：就是前面将的type的概念，类似于数据库中的不同表字段名：任意填写 ，可以指定许多属性，例如：type：类型，可以是text、long、short、date、integer、object等。
一氪钟：浅说 Lucene 倒排索引与分词
Athrun Saga's Thinking
10-09 1163
Lucene 是基于倒排索引来实现快速的全文检索的，那么倒排索引是什么概念呢？ 首先来看看普通索引是怎样建立的，请参考下图。 图中，我们为右侧的每一个文档都建立了一个索引编号，当我们知道这个编号时，就可以查询到对应的文档，而如果我们还对这些索引编号进行排序，那检索的速度就会更快。但是，当我们需要检索包含“F”的文档时，普通索引就完全不能发挥作用了，因为我们不得不遍历每一个文
lucene 倒排索引、反向索引概念明晰
04-21 1958
lucene中，一直在纠结什么叫倒排索引，为什么叫倒排索引，找了n个博客没有对该名词很透彻的解析，重于在知乎上中找到需要的答案： -------------------------------------------------------------------------------------------------- 渣翻译的例子之一。 英文原名Inverted index，
Elasticsearch 基础入门--开发elasticsearch添加数据篇
最新发布
学习中
04-19 468
Elasticsearch 基础入门--开发elasticsearch添加数据篇
[转]Lucene倒排索引原理
grantbb
07-07 203
Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。该结构及相应的生成算法如下： 　　 　　0）设有两篇文章1和2 　　文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too. 　　文章2的内容为：He once lived in Shanghai. 　　 　　1)由于lucene是基于关键词索引和查询的，首先我们要取...
CM开发日志 - 搜索引擎（四） - Lucene 反向索引
Jeff 的专栏
03-11 1166
Solr 使用了 Lucene 的反响索引为【快速搜索】提供动力。虽然我们不会深入介绍太多 Luncene 内部的数据结构，但是了解反向索引的【基本结构】还是非常有必要的。 回想一下前面用过的搜索书籍的例子，我们可以在下表中看到索引是如何将关键字映射到文档的： 原始文档（传统的数据库） 文档编号 内容字段 1 A Fun Guide to Cooking
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎，Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...
es-head Elasticsearch的可视化操作插件
12-19
es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具，可以连接Elasticsearch搜索引擎，并提供可视化的操作页面，对Elasticsearch进行各种设置和数据检索功能的管理。 es-head 插件可以在...
ES客户端+谷歌浏览器插件+Multi-Elasticsearch-Head
06-30
多弹性搜索头，对著名的 Elasticsearch Head 的改进 1.保存和存储几个Elasticsearch端点 2.索引选项卡中的更多列 3. 任何请求现在都可以像 /_cat/indices 一样处理 JSON 返回 4. 更简约的外观（更小的字体等...） ...
ES查询客户端，elasticsearch可视化工具
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
Lucence倒排索引
没有伞的孩子必须努力奔跑！—小林
03-10 321
带着问题探索： 全文检索，为什么要全文检索？ 什么是lucence？ 什么是倒排索引？ 一、全文检索 要了解全文检索首先需要了解:结构化数据与非结构化数据，以及半结构化数据，这三种数据构成了我们生活中所有数据的组成形式。 结构化数据 非机构化数据 半结构化数据 含义 有固定格式的的数据 无固定格式的数据 有一定格式的数据 举例 数据库中的数据 ...
Lucene倒排索引
debugmyworld
12-17 1081
关于搜索： 传统关系型数据库和 ES 的差别 ES搜索引擎原理 传统关系型数据库搜索 先设想一个关于搜索的场景，假设我们要搜索一首诗句内容中带“前”字的古诗。 用传统关系型数据库和 ES 实现会有什么差别？如果用像 MySQL 这样的 RDBMS 来存储古诗的话，我们应该会去使用这样的 SQL 去查询： select name from poems where content like "%前%"; 这种我们称为顺序扫描法，需要遍历所有的记录进行匹配。不但效率低，而且不符合我们搜索时的期望。
索引、倒排索引（反向索引）
小小开发者
09-26 1282
关键词：索引、倒排索引（反向索引） （1）为什么要用索引 索引的建立，能使查找更加快速 （2）索引的数据结构 数组： 方便查找，但是数据更新太慢 链表：方便更新，但是查找太慢（从头到尾，或者从尾到头） 红黑树、二叉树：快速查找，快速更新 （3）数据库中对于不同数据类型，怎么...
全网最牛逼的 Elasticsearch 天团博客集合
铭毅天下Elasticsearch
10-09 5298
1、事出有因一个问题引发的 国内外最牛逼的elasticsearch 天团博客集合。兄弟们 有玩过这个API的吗 ？这个suggest是干嘛作用的。死磕Elasticsearch 知...
Lucene系列二：反向索引及索引原理
布道
10-14 6297
了解关系型数据库的童靴都了解它底层结构采用b+tree的实现，而Lucene则是基于反向索引实现，并将它发挥到了极致。如果不了解Lucene是什么，可以参阅《系列一之全文检索》 目录 1. 什么是反向索引 2. 如何设计反向索引 2.1 如何快速查询与苍老师有关的新闻？ 2.2 有标题列索引和内容列索引会有什么问题 2.3 反向索引的记录数【英文/中文】会不会很大 2.4 开源中文分...
Lucene（九）拓展2-倒排索引
java_shm的专栏
05-16 747
1. 倒排索引算法 1.1 什么是倒排索引？ 见其名知其意，有倒排索引，对应肯定，有正向索引。 正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。 在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现位置。 正向索引的结构如下： “文档1”的ID >...
ElasticSearch插入数据
web18224617243的博客
08-16 1007
请求类型PUT，参数如下。请求类型: POST。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值