大白话ElasticSearch是什么以及应用场景

最新推荐文章于 2025-03-07 13:06:05 发布
最新推荐文章于 2025-03-07 13:06:05 发布
阅读量895 收藏 1
点赞数 2
分类专栏： bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/djrm11/article/details/98476415
版权

https://blog.youkuaiyun.com/paicMis/article/details/82535018

                    版权声明：本文为博主原创文章，未经博主允许不得转载。                        <a class="copy-right-url" href=" https://blog.youkuaiyun.com/paicMis/article/details/82535018"> https://blog.youkuaiyun.com/paicMis/article/details/82535018</a>
                </div>
                                                <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-3019150162.css">
                                    <div id="content_views" class="markdown_views prism-atom-one-dark">
                <!-- flowchart 箭头图标 勿删 -->
                <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                    <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                </svg>
                                        <p>ElasticSearch是一个分布式，高性能、高可用、可伸缩的搜索和分析系统 <br>

看了上面这段话，估计很多人都懵了，这个是啥。我们先从搜索说起，先介绍下面几点

1、什么是搜索

百度、Google：我们想寻找一个我们喜欢的电影或者书籍就会去百度或者Google搜索一下。

互联网搜索：电商搜索商品，招聘网站搜索简历或者岗位

IT系统的搜索：员工管理搜索，会议管理搜索

2、如果用数据库做搜索会怎么样

在软件开发里面，数据都是存储在数据库里面的，比如电商网站的商品信息，员工的信息等等，如果从员工角度去做搜索功能，我们会这么设计

这里写图片描述

以上会存在几个问题：
1. 如果表记录上千万上亿了这个性能问题，另外一个如果有一个本文字段要在里面模糊配置，这个就会出现严重的性能问题
2. 还不能将搜索词拆分开来，比如上面这个只能搜索名字是“张三”开头的员工，如果想搜出“张小三”那是搜索不出来的。
总体来说，用数据库来实现搜索，是不太靠谱的，通常性能也会很差
3、什么是全文检索、倒排索引和Lucene
举个简单的例子：比如最近上映的热剧（碟中谍6:全面瓦解），我们想搜索一下全面瓦解这个电视剧，可是在输入的过程，不小心输入了”全瓦解”，我们看看百度这个返回了什么，百度返回的结果确实是我想要找到的内容，现在我们介绍一下全文检索和倒排索引是什么
这里写图片描述

我们看看下面这个图，假如我们有很多数据”全面瓦解电影，全面瓦解海报，全面瓦解评论，全面瓦解文章”等等信息，从数据到构建倒排索引的过程我们图中标记为“1”，通俗一点讲就是，倒排索引就是讲数据中的词拆分构建一个大表，将关键字拆出来，后面带上这个文章的documentid号，例如中间这个就是倒排索引了。

全文检索就比较好理解的，就是当我们输入“全瓦解”,会被拆分成”全”，“瓦解”2个此，用2个词去倒排索引里面去检索数据，检索到的数据返回。整个过程就叫做全文检索
这里写图片描述
如果这个用数据库的思维来做的话，假如一共100W的记录，按照之前的思路就是扫描100W次，而且每次扫描，都需要匹配那个文本所有的字符，确认是否包含搜索的关键词，而且还不能将搜索词拆解来进行检索
如果是利用倒排索引的话，假设还是100W，拆分出来的词语，假设有1000W个词语，那么在倒排索引中，就有1000W行。我们可能不需要检索1000W词，有可能检索1次，就能找到我们需要的数据，也有可能是100W次，也有可能是1000W次

lucene：就是一个jar包，里面包含了封装好的各种建立倒排索引，以及进行搜索的代码，包括各种算法。我们就用java开发的时候

3、ElasticSearch是什么
Lucene是单机的模式，如果你的数据量超过了一台物理机的容量，你需要扩容，将数据拆分成2份放在不同的集群，这个就是典型的分布式计算了。需要拷贝容错，机器宕机，数据一致性等复杂的场景，这个实现就比较复杂了。
ES解决了这些问题
1、自动维护数据的分布到多个节点的索引的建立，还有搜索请求分布到多个节点的执行
2、自动维护数据的冗余副本，保证了一旦机器宕机，不会丢失数据
3、封装了更多高级的功能，例如聚合分析的功能，基于地理位置的搜索
这里写图片描述

ElasticSearch的功能

  1. 分布式的搜索引擎和数据分析引擎
    搜索：网站的站内搜索，IT系统的检索
    数据分析：电商网站，统计销售排名前10的商家
  2. 全文检索，结构化检索，数据分析
    全文检索：我想搜索商品名称包含某个关键字的商品
    结构化检索：我想搜索商品分类为日化用品的商品都有哪些
    数据分析：我们分析每一个商品分类下有多少个商品
  3. 对海量数据进行近实时的处理
    分布式：ES自动可以将海量数据分散到多台服务器上去存储和检索
    海联数据的处理：分布式以后，就可以采用大量的服务器去存储和检索数据，自然而然就可以实现海量数据的处理了
    近实时：检索数据要花费1小时（这就不要近实时，离线批处理，batch-processing）；在秒级别对数据进行搜索和分析

ElasticSearch的应用场景

  1. 维基百科
  2. The Guardian（国外新闻网站）
  3. Stack Overflow（国外的程序异常讨论论坛）
  4. GitHub（开源代码管理）
  5. 电商网站
  6. 日志数据分析
  7. 商品价格监控网站
  8. BI系统
  9. 站内搜索

ElasticSearch的特点

  1. 可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司
  2. Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起
  3. 对用户而言，是开箱即用的，非常简单，作为中小型的应用，直接3分钟部署一下ES
  4. Elasticsearch作为传统数据库的一个补充,比如全文检索，同义词处理，相关度排名，复杂数据分析，海量数据的近实时处理；
Elasticsearch笔记基础入门
weixin_72753070的博客
07-29 288
并不能保证通过这四篇文章让你掌握ES，但是！我会用大白话串讲ES的一些概念、和花哨的玩法。起码可以把你对Elasticsearch的陌生度降到最低，等有一天你自己业务需要使用ES时，会因为提前读了ES笔记而快速上手。...
Elasticsearch的使用场景深入详解
热门推荐
铭毅天下Elasticsearch
08-17 11万+
了解了ES的使用场景，ES的研究、使用、推广才更有价值和意义。1、场景—：使用Elasticsearch作为主要的后端传统项目中，搜索引擎是部署在成熟的数据存储的顶部，以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的​​存储或其他经常需要的功能，如统计。 Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项目，我们建议您考虑使用Elas
ElasticSearch详解
优快云博客技术，java高级工程师，业务层架构师，高级管理认证，毕业设计可以联系我
03-07 832
在 flush 过程中，内存中的缓冲将被清除，内容被写入一个新的 Segment，Segment 的 fsync 将创建一个新的提交点（ Commit Point），并将内容刷新到磁盘，旧的translog将被删除并开始一个新的translog，flush 触发的时机是定时触发（默认30分钟）或者 translog 变得太大（默认512M）时。小的 Segment 被合并到 大的 Segment，然后这些大的Segment 再合并到更大的 Segment。还有就是需求的变更，可能又需要一种新的分库方式。
ElasticSearch 应用场景
weixin_33968104的博客
03-24 247
    主要分为如下几点： 　　1.站内搜索：主要和 Solr 竞争，属于后起之秀。 　　2.NoSQL Json文档数据库：主要抢占 Mongo 的市场，它在读写性能上优于 Mongo ，同时也支持地理位置查询，还方便地理位置和文本混合查询。 　　3.监控：统计、日志类时间序的数据存储和分析、可视化，这方面是引领者。 　　4.国外：Wikipedia（维基百科）使用ES提供全文搜索并...
Elasticsearch使用场景 有哪些？
weixin_35755434的博客
02-14 2638
Elasticsearch常用于以下场景： 日志分析和监控：Elasticsearch可以收集、存储和分析大量服务器日志数据，帮助您监控系统性能和查找故障。 搜索引擎：Elasticsearch可以构建高性能的搜索引擎，用于查询大量文档、网页和其他数据。 商业智能和数据分析：Elasticsearch可以用于处理和分析大量实时数据，以帮助企业做出更明智的决策。 安全性分析：Elastics...
Elasticsearch 的核心基础概念与技术原理可归纳如下：
m0_75236543的博客
02-18 789
倒排索引是 Elasticsearch 实现快速全文搜索的核心技术。它将文档中的词项映射到包含该词项的文档 ID，形成词项到文档的逆向映射。Elasticsearch 是面向文档的数据库，文档是存储的基本单位，以 JSON 格式表示。每个文档包含元数据（如。文档通过唯一 ID 标识，支持嵌套结构。搜索时直接定位词项对应的文档列表。）和实际内容字段（如。
Java后端面试场景题汇总
12-14 1447
如此大的数据集进行去重（例如50亿数据条目），我们需要考虑内存和存储空间的限制，同时还需要有一个算法。一般来说，这样的数据量无法直接载入内存进行处理，因此需要采用磁盘存储和分布式处理的技术。将数据分为多个批次，每个可以加载到内存中。对每一批数据进行排序和去重，然后存回磁盘。对所有排序且去重后的批次进行归并排序，同时去重。使用哈希函数将数据分配到不同的桶（Bucket）或文件中，确保相同的数据项会落到同一个桶里。对每个桶的数据进行内存中去重操作。
【JVM】 ---- 大白话图文之JVM类加载机制、内存区域、垃圾回收
TheWhc
06-19 618
以图文大白话讲解 JVM的类加载机制、内存区域、以及 对 垃圾回收中的对象分配、垃圾回收算法、垃圾回收器(CMS、G1重点分析)
Elasticsearch Top5典型应用场景
铭毅天下Elasticsearch
09-16 3万+
题记 刚接触Elasticsearch的朋友，或多或少会遇到一个问题，Elasticsearch在实际公司应用中除了搜索到底能做什么？ 本文给出了答案。 除了“You Know, for Search”，Elasticsearch的使用会不断增长和变化。ObjectRocket作为一家托管云计算公司，已经在ObjectRocket平台上提供托管Elasticsearch一段时间了，并且能够看...
5个 elasticsearch实战应用案例和详细分析
2401_87704405的博客
10-14 1842
bash代码解读复制代码。
ElasticSearch 使用场景
宅宅的博客
11-22 933
到目前为止，我遇到的ES的使用场景有以下： 配合分词器做全文搜索引擎。这应该也是ES的本职工作吧。 在ELK中扮演数据仓库的角色。ELK也是日志处理收集、分析、告警推送的通用解决方案，在每个公司都有。 借助ES实现超级索引，提高DB中超大数据量的检索效率。 全文搜索引擎 在DB数据库中，如果要在varchar或者text或者json类型的字段中 like “%要搜索的词%”， 索引会失效，索引很容易想到用ES来做全文搜索，常见在电商前台搜索框中。 常见的做法 在保存db行数据的事务中双写。但是不推.
ElasticSearch的使用场景
dhdhd78273的博客
04-14 663
而且，随着你数据和查询量的增长，Elasticsearch 分布式的特性允许你的部署能随着它无缝地增长匹配。Elasticsearch 的日志解决方案（ELK 栈）可以实现秒级的数据采集到展示，提供灵活的搜索分析能力，并支持交互式分析。它支持商品搜索、应用搜索、站内搜索等功能，能够处理高并发的查询请求，提供高性能、高可用的搜索服务。但是不论你的实例与其中一个相似，还是你正使用 Elasticsearch 来解决一个新的问题，你在 Elasticsearch处理数据、文档和索引的方式是相同的。
Elasticsearch 之（1） 初识Elasticsearch
vincent
04-23 7935
什么是搜索？百度：我们比如说想找寻任何的信息的时候，就会上百度去搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻（提到搜索的第一印象）百度 != 搜索，这是不对的垂直搜索（站内搜索）互联网的搜索：电商网站，招聘网站，新闻网站，各种appIT系统的搜索：OA软件，办公自动化软件，会议管理，日程管理，项目管理，员工管理，搜索“张三”，“张三儿”，“张小三”；有个电商网...
Elasticsearch入门（一）：elasticsearc基础概念
王明晓的博客
03-23 1467
1.什么是搜索 搜索，就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要搜索的关键字，然后就期望找到这个关键字相关的有些信息 垂直搜索（站内搜索） 互联网的搜索：电商网站，招聘网站，新闻网站，各种app IT系统的搜索：OA软件，办公自动化软件，会议管理，日程管理，项目管理，员工管理，搜索“张三”，“张三儿”，“张小三”；有个电商网站，卖家，后台管理系统，搜索“牙膏”，订单，“牙膏相关的...
Elasticsearch教程应用场景
Baron0071的博客
12-16 2277
Elasticsearch使用 1.搜索使用 1.1搜索请求的结构体 现在我们已经看到了一些基本知识，让我们尝试一下更加真实的数据集（结构化数据）。我准备了关于金庸先生的小 说的JSON文档样本。每个文档都有以下模式： //样本一 { "title": "射雕英雄传", "people": ["郭靖", "黄蓉", "杨康", "穆念慈"], "year": 1962, "text": "该小说历史背景突出，场景纷繁，气势宏伟，具有鲜明的“英雄史诗”风格；在人物创造与情节安排上，
Elasticsearch应用场景(三)
ntzzzsj的博客
07-29 2959
可以把推荐模型算法计算的商品和用户向量存储到ES索引中，当实时请求时，加载用户向量并使用ES的ScriptScore进行查询，使每个文档最终的排序分值等于当前用户向量与当前文档向量的相似度。查询时客户端可以把查询请求分发到ES中，ES从索引中查询并返回符合条件的记录主键，客户端再根据返回的记录主键请求RDBMS得到实时数据。在有些场景中，部分数据是强事务性的，或者说这些数据需要关联多张表才可以获取到，这种数据不适合在ES中作为最终数据进行呈现，最好将它们存储在RDBMS中。...
RestTemplate 是什么 大白话讲解
最新发布
03-26
### RestTemplate 的基本概念及作用 `RestTemplate` 是 Spring 提供的一个同步客户端工具类，用于简化 HTTP 请求的发送和接收操作。它可以方便地与 RESTful 服务交互，支持 GET、POST、PUT、DELETE 等常见的 HTTP 方法[^1]。 以下是 `RestTemplate` 的主要功能和特点： #### 功能概述 - **HTTP 请求封装**：`RestTemplate` 封装了底层的 HTTP 客户端实现细节，开发者无需关心具体的网络通信逻辑。 - **多种数据格式支持**：可以轻松处理 JSON、XML 或其他自定义的数据格式，通常配合消息转换器（如 `HttpMessageConverter`）完成序列化和反序列化工作[^2]。 - **灵活的方法调用**：提供了丰富的 API 来执行不同类型的 HTTP 请求，例如 `exchange()` 和 `execute()` 方法允许更复杂的场景定制。 #### 使用示例 下面展示如何利用 `RestTemplate` 发送简单的 GET 和 POST 请求： ```java // 创建 RestTemplate 实例 RestTemplate restTemplate = new RestTemplate(); // 执行 GET 请求并获取响应对象 String url = "https://api.example.com/data"; ResponseEntity<String> response = restTemplate.getForEntity(url, String.class); System.out.println("Status Code: " + response.getStatusCode()); System.out.println("Body: " + response.getBody()); // 执行 POST 请求 Map<String, String> requestBody = Map.of("key", "value"); HttpHeaders headers = new HttpHeaders(); headers.setContentType(MediaType.APPLICATION_JSON); HttpEntity<Map<String, String>> requestEntity = new HttpEntity<>(requestBody, headers); ResponseEntity<Void> postResponse = restTemplate.postForEntity( "https://api.example.com/create", requestEntity, Void.class ); System.out.println("Post Response Status: " + postResponse.getStatusCode()); ``` 上述代码片段展示了如何通过 `getForEntity` 和 `postForEntity` 方法分别发起 GET 和 POST 请求，并打印服务器返回的状态码以及响应体内容[^3]。 #### 应用场景 - 调用第三方 REST 接口：当需要集成外部系统的 RESTful API 时，`RestTemplate` 可以快速构建请求并解析结果。 - 微服务间通信：在一个分布式架构下，各个微服务之间可以通过 `RestTemplate` 进行相互调用，从而实现模块解耦和服务协作[^4]。 尽管如此，在现代应用开发中需要注意的是，官方推荐逐渐迁移到更加高效的异步解决方案，比如 WebClient (来自 Spring 5)，因为它更适合处理高并发环境下的非阻塞 I/O 操作[^5]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hello_world!

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值