ES学习笔记——初识ElasticSearch

最新推荐文章于 2025-04-17 08:45:00 发布
最新推荐文章于 2025-04-17 08:45:00 发布
阅读量452 收藏
点赞数
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37649025/article/details/110728322
版权

ElasticSearch介绍

ES是一个使用Java语言并且基于Lucene编写的搜索引擎框架，它提供了分布式的全文搜索功能，提供了一个统一的基于RESTful风格的WEB接口，官方客户端也对多种语言都提供了相应的API。

  • Lucene：本身就是一个搜索引擎的底层。直接使用成本高。官网地址：https://lucene.apache.org/
  • 分布式：突出的横向扩展能力（集群）
  • 全文检索：将一段词语进行分词，并且将分出的单个词语统一的放到分词库中，在搜索时，根据关键字去分词库中检索，找到匹配的内容。（倒排索引）eg：将“我爱编程”这个词语拆分成“我”、“爱”、“编程”，在搜索“爱我中华”的时候会将搜索内容拆分成“爱”、“我”、“中华”等，去分词库中查询有没有匹配的单个词。
  • RESTful风格接口：操作简单，只需要发送一个HTTP请求，并且根据请求方式以及携带参数的不同来执行不同的操作。
  • 倒排索引
    1. 将存放的数据，以一定的方式进行分词，并且将分词的内容存放到一个单独的分词库中。
    2. 当用户去查询数据时，会将用户查询的关键字进行分词。
    3. 然后去分词库匹配内容，最终得到数据的id标识。
    4. 根据id标识去存放数据的位置拉取到指定的数据。
      在这里插入图片描述

ElasticSearch安装

  1. 在/opt/es_docker下新建docker-compose.yml，内容如下：
version: '2'
services:
  elasticsearch:
    container_name: elasticsearch
    image: daocloud.io/library/elasticsearch:7.7.0
    ports:
      - "9200:9200"
    environment:
      - "ES_JAVA_OPTS=-Xms64m -Xmx128m"
      - "discovery.type=single-node"
      - "COMPOSE_PROJECT_NAME=elasticsearch-server"
    restart: always

  kibana:
    container_name: kibana
    image: daocloud.io/library/kibana:7.7.0
    ports:
      - "5601:5601"
    restart: always
    environment:
      - ELASTICSEARCH_HOSTS=http://192.168.127.188:9200

注意填写自己的IP地址。
2. 执行docker-compose up -d
3. 验证安装成功
分别在浏览器中输入http://192.168.127.188:9200/、http://192.168.127.188:5601/当看见以下内容时说明安装成功
在这里插入图片描述
在这里插入图片描述

IK分词器安装

ES默认的分词器会将每一个中文都进行分词，这样分词就没有什么意义了。

ES基本操作

分片和备份

在这里插入图片描述

ES中Field支持的类型

字符串：

  • text：被用于全文检索，将当前Field进行分词。eg：商品描述。
  • keyword：当前Field不会被分词。eg：地名。
    数值：
  • long
  • integer
  • short
  • byte
  • double
  • float
  • half_float
  • scaled_float：根据一个long和scaled来表达一个浮点类型，eg：long=345,scaled=100，对应结果3.45
    时间：
  • date：可以指定具体的格式
    布尔类型：
  • boolean
    二进制类型：
  • binary类型支持Base64 encode string
    范围类型：
  • long_range：指定gt,lt,gte,lte即可
  • float_range
  • double_range
  • date_range
  • ip_range
    经纬度类型：
  • geo_point：用来存储经纬度
    IP类型
  • ip_range：可以存储IPV4或者IPV6
    其他数据类型参考官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html

创建索引并指定数据结构

PUT /book
{
  "settings": {
    "number_of_replicas": 1, #备份数
    "number_of_shards": 5 #分片数
  },
  # 指定数据结构
  "mappings": {
  	# 文档存储的Field
    "properties": {
      # Field名
      "name": {
      	# 类型
        "type": "text",
        # 指定分词器
        "analyzer": "ik_max_word",
        # 指定当前Field可以作为查询条件
        "index": true,
        # 是否需要额外存储
        "store": false
      },
      "author": {
        "type": "keyword"
      },
      "count": {
        "type": "long"
      },
      "onSale": {
        "type": "date",
        "format": [
          # 时间格式化方式
          "yyyy-MM-dd HH:mm:ss"
        ]
      },
      "desc": {
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

文档操作

文档在ES服务中的唯一标识，_index，_doc，_id三个内容为组合，锁定一个文档。

新建文档
		# 添加文档，自动生成id
		POST /book/_doc
		{
		  "name":"风声",
		  "author":"麦家",
		  "onSale":"2020-07-23 00:00:00",
		  "desc":"经历过大孤独、大绝望的人，会懂得《风声》给你的大坚韧和大智慧。",
		  "count":123902
		}
		# 添加文档，手动指定id
		PUT /book/_doc/1
		{
		  "name":"繁花",
		  "author":"金宇澄",
		  "onSale":"2010-02-12 00:00:00",
		  "desc":"矛盾文学奖获奖作品",
		  "count":83902
		}
修改文档
		#覆盖修改
		PUT /book/_doc/1
		{
		  "name":"繁花",
		  "author":"金宇澄",
		  "onSale":"2010-02-12 00:00:00",
		  "desc":"矛盾文学奖获奖作品",
		  "count":2383902
		}
		#修改文档，基于doc方式
		POST /book/_doc/1/_update
		{
		  "doc":{
		    "count":1234567
		  }
		}
删除文档
	# 根据id删除文档
	DELETE /book/_doc/tOMn73UB90LCY1QIu_nJ

Java操作ES的几种方式可以看看这篇文章
https://blog.youkuaiyun.com/jacksonary/article/details/82729556

ES的各种查询

term&terms查询

term查询代表完全匹配，搜索之前不会对搜索的关键字进行分词，直接去分词库中匹配，找到相应的文档。
在这里插入图片描述
terms和term的查询机制是一样的，都不会将指定的关键字进行分词，直接去分词库中匹配，找到相应的文档内容。terms是用一个字段去匹配多个值的时候使用。
term：where province = 北京
terms：where province = 北京 or province = 深圳
在这里插入图片描述

match查询

match查询会根据查询的字段类型不一样，采用不同的查询方式。

  • 查询的是日期或者数值的话，将会把查询的字符串内容转换为日期或者数值对待。
  • 如果查询的是一个不能被分词的内容（keyword），match查询不会对指定的查询关键字进行分词。
  • 如果查询的内容是一个可以被分词的内容（text），match会将指定的查询内容根据一定的方式分词，去分词库中匹配指定的内容。

match查询，实际底层就是多个term查询，将多个term查询的结果分装到了一起。

指定一个Field作为筛选条件

image-20201129150826522

image-20201129150956950

布尔match查询

基于一个Field匹配的内容，采用and或者or的方式连接

image-20201129164453215

multi_match查询

match针对一个filed做检索，multi_match针对多个field进行检索，多个filed对应一个text，多个字段是or的关系。

image-20201129165318334

match_all查询

查询全部内容，不指定任何查询条件。

image-20201129150200803

其他查询
id查询

根据id查询 where id = ?

image-20201129165942968

ids查询

根据多个id查询，where id in (?,?,…)

image-20201129170438736

prefix查询

前缀查询，可以通过一个关键字去指定一个分词（text）field的前缀，从而查询到指定的文档。where field like ?%

image-20201129171106154

fuzzy查询

模糊查询，我们输入大概的字符，ES就可以根据输入的内容大概去匹配一下结果。

image-20201129172039043

可以通过prefix_length指定需要精确匹配的长度。

image-20201129172224685

wildcard查询

通配查询，可以在查询时，在字符串中指定通配符*和占位符？

image-20201129172942933

range查询

范围查询，只针对数值类型，对某一个filed进行大于或者小于的范围指定。

image-20201129173434759

regexp查询

正则查询，通过正则表达式匹配内容。

ps：prefix，fuzzy，wildcard和regexp查询效率相对term，terms比较低，要求效率比较高时避免使用。

image-20201129181054328

深分页Scroll

ES对from+size是有限制的，from和size二者之和不能超过1W

查询原理：

from+size在ES查询数据的方式：

  1. 将用户指定的关键字进行分词。
  2. 将分词结果去分词库中检索，得到多个文档的id。
  3. 去各个分片中拉取指定的数据。（耗时较长）
  4. 将数据根据score进行排序。（耗时较长）
  5. 根据from的值，将查询到的数据舍弃一部分。
  6. 返回结果

scroll+size在ES查询数据的方式：

  1. 将用户指定的关键字进行分词。
  2. 将分词结果去分词库中检索，得到多个文档的id。
  3. 将文档的id存放在一个ES的上下文中。
  4. 根据指定的size去ES中检索指定个数的数据，拿到数据的文档id，会从上下文中移除。
  5. 如果需要下一页数据，直接去ES的上下文中找后续内容。（重复4、5）
    scroll查询方式，不适合做实时的查询（将文档id存在内存中）
# 执行scroll查询，zhiidng返回第一页数据，并且将文档id信息存放在ES上下文中，指定有效时长1分钟
GET province/_search?scroll=1m	#指定文档id在内存中的存储时间
{
  "query": {					#查询条件
    "match_all": {}
  },
  "size": 2,					#每一页大小
  "sort": [						#排序
    {
      "code": {
        "order": "asc"
      }
    }
  ]
}

image-20201129212709962

# 根据上一页返回的scroll，查询下一页数据，同时指定文档id在内存中的有效时长
GET _search/scroll
{
"scroll_id":"FGluY2x1ZGVfY29udGV4dF91dWlkDnF1ZXJ5VGhlbkZldGNoBRRoYTR1RkhZQnI5Z1BPU0dWMnhZcAAAAAAAAADZFm9NUWx2YVM4U2E2M1NsZGt2VmRuMXcUaHE0dUZIWUJyOWdQT1NHVjJ4WXAAAAAAAAAA2xZvTVFsdmFTOFNhNjNTbGRrdlZkbjF3FGlLNHVGSFlCcjlnUE9TR1YyeFlwAAAAAAAAANwWb01RbHZhUzhTYTYzU2xka3ZWZG4xdxRoNjR1RkhZQnI5Z1BPU0dWMnhZcAAAAAAAAADaFm9NUWx2YVM4U2E2M1NsZGt2VmRuMXcUaWE0dUZIWUJyOWdQT1NHVjJ4WXAAAAAAAAAA3RZvTVFsdmFTOFNhNjNTbGRrdlZkbjF3",
  "scroll":"1m"
}

image-20201129212754226

# 删除scroll在ES上下文中的数据
DELETE _search/scroll/FGluY2x1ZGVfY29udGV4dF91dWlkDnF1ZXJ5VGhlbkZldGNoBRRoYTR1RkhZQnI5Z1BPU0dWMnhZcAAAAAAAAADZFm9NUWx2YVM4U2E2M1NsZGt2VmRuMXcUaHE0dUZIWUJyOWdQT1NHVjJ4WXAAAAAAAAAA2xZvTVFsdmFTOFNhNjNTbGRrdlZkbjF3FGlLNHVGSFlCcjlnUE9TR1YyeFlwAAAAAAAAANwWb01RbHZhUzhTYTYzU2xka3ZWZG4xdxRoNjR1RkhZQnI5Z1BPU0dWMnhZcAAAAAAAAADaFm9NUWx2YVM4U2E2M1NsZGt2VmRuMXcUaWE0dUZIWUJyOWdQT1NHVjJ4WXAAAAAAAAAA3RZvTVFsdmFTOFNhNjNTbGRrdlZkbjF3

image-20201129213003492

delete_by_query

根据term，match等查询方式删除文档

PS：如果需要删除的内容是index下的大部分数据（删除比较耗时），推荐创建一个新的index，将保留的文档内容添加到新的索引

image-20201129222118568

复合查询
bool查询

复合过滤器，可以将多个查询条件以一定的逻辑组合在一起。

  • must：表示必须匹配。
  • must_not：表示必须不匹配。
  • should：当查询中没有must语句时，至少需要匹配一个should。默认情况下should语句可以一个都不匹配。

image-20201129225159039

booting查询

boosting查询会影响查询后的score

  • positive：只有匹配上positive的查询内容，才会被放到返回的结果集中。
  • negative：如果同时匹配上了positive和negative，就会降低文档的score。
  • negative_boost：指定系数，必须小于1.0。同时匹配positive和negative分数乘以negative_boost。
  • 必须同时指定以上三个条件。

查询时的分数计算：

  • 搜索的关键字在文档中出现的频次越高，分数越高。
  • 文档的内容越短，分数越高。
  • 搜索时指定的关键字会被分词，被分词的内容，被分词库匹配的个数越多，分数越高。

image-20201205153359850

image-20201205153453776

filter查询

query：根据查询条件，计算文档的匹配度得到一个分数，并且根据分数进行排序，不会做缓存。

filter：根据查询条件去查询文档，不会计算分数，而且会对经常被过滤的数据进行缓存。

image-20201205155241678

高亮查询

高亮查询以一定的特殊样式将用户输入的关键字展示出来。

ES的highlight属性

  • 和query同级别

  • fragment_size：指定高亮数据展示多少字符。

  • pre_tag：指定前缀标签，eg：

  • post_tag：指定后缀标签，eg：

  • fields：指定哪些field以高亮形式放回

image-20201205161252313

聚合查询

ES的聚合查询相比MYSQL要强大，ES提供的数据统计方式多种多样。

GET index/_search
{
    "aggs":{ #聚合查询关键字
        "agg":{ #聚合查询的名字
            "agg_type":{ #聚合查询的类型
                "属性":"值"
            }
        }
    }
}
去重统计

cardinality，将返回文档中的一个指定filed去重，统计一共有多少条数据。

image-20201205163259432

范围统计

统计指定field在一定范围内出现的文档个数。可以统计数值类型range、时间类型date_range、IP类型ip_range。

from：>=

to：<

image-20201205164441580

统计聚合查询

extended_stats，查询指定field的最大值、最小值、平均值、平方和…

image-20201205165031093

地图经纬度搜索

检索方式

  • geo_distance：以一个点为中心，一定距离为半径的圆，获取在圆形内的全部数据。
  • geo_bounding_box：以两点连线为对角线确定一个矩形，获取在矩形内的全部数据。
  • geo_polygon：以多个点确定一个多边形，获取多边形内的全部数据。
geo_distance
GET city/_search
{
  "query": {
    "geo_distance": {
      "location": {	#指定属性，确定一个点
        "lon": 116.397128,
        "lat": 39.916527
      },
      "distance": 3000,	#确定半径
      "distance_type": "arc"	#确定形状
    }
  }
}

image-20201205172249072

geo_bounding_box
GET city/_search
{
  "query": {
    "geo_bounding_box": {
      "location": {
        "top_left": { #左上角坐标
          "lon": 115.06640900585936,
          "lat": 40.595651124351214
        },
        "bottom_right": { #右下角坐标
          "lon": 116.6237210175781,
          "lat": 39.69709306733553
        }
      }
    }
  }
}

image-20201205173118657

geo_polygon

image-20201205173709763

ES学习笔记
qq_39633973的博客
08-29 692
本笔记是以ES7.8.0版本为基础的 ES是一个开源的高扩展的分布式全文搜索引擎 ES是面向文档型数据库，一条数据在这里就是一个文档。ES中的Index可以看做一个库，二Types相当于表，Documents则相当于表中的行。 在ES6.x中，一个index下只能包含一个type，ES7.X中，Type的概念已经被删除 在部署ES的过程中，需要首先部署JDK环境，部分服务器安装了openJDK也是可以用的。 ES7.8.0及以上的版本需要使用的jdk版本最低为jdk1.8 安装 安装ES可以使用roo
Elasticsearch7.X 打卡学习(随缘更新。。)
wantLight的博客
09-28 254
文章目录ElasticSearch概念索引(index)映射(mapping)文档(document)字段(field)集群(cluster)节点(node)分片和副本(shard)ElasticSearch7.0重大改进ES 的一些基本原理es 写数据过程写数据底层原理删除/更新数据底层原理es 读数据过程es 搜索数据过程底层 lucene倒排索引 ElasticSearch概念 索引(index) 类似的数据放在一个索引，非类似的数据放不同索引， 一个索引也可以理解成一个关系型数据库。 映射(map
js语言规范_ES5-6-7_个人总结
weixin_30485799的博客
03-27 209
## **理解ES** 1.全称: ECMAScript 2.js语言的规范 3.我们用的js是它的实现 4.js的组成 *ECMAScript(js基础) *扩展-->浏览器端 *BOM *DOM *扩展-->服务器端 *Node.js ## ES5 1.**严格模式** *...
ES(Elasticsearch)从入门到进阶的学习路线
最新发布
z17826856787的博客
04-17 1010
通过以上路线，你可以在 2-3 个月内系统掌握 Elasticsearch 的核心技能。，尝试用自己的数据集复现问题并解决。
Elasticsearch7.x学习
qq_33302985的博客
08-26 747
一 Elasticsearch介绍 1.1 引言 在海量数据中执行搜索功能时，如果使用MySQL，效率太低。 如果关键字输入的不准确，一样可以搜索到想要的数据。 将搜索关键字，以红色的字体展示。 1.2 ES的介绍 ES是一个使用java语言并且基于Lucene编写的搜索引擎框架，它提供了分布式的全文搜索功能，提供了一个统一的基于RESTFUL风格的WEB接口，官方客户端也对多种语言都提供了相应的API Lucene：本身就是一个搜索引擎的底层 分布式：ES主要为了突出它的横向扩展能力 全文
ES（elasticSearch学习笔记）
weixin_42765975的博客
08-19 9499
es是面向文档型的数据库，一条数据在es数据库就是一个文档，和关系型数据库做一个类比，es的索引类比关系型数据库的数据库，es的type类比数据表（7.0版本以上删除了type这个概念），es的文档document类比关系型数据库的行，es的字段类比关系关系型数据库的列。1.安装访问在本地es执行目录：/Users/liuqinhua/Desktop/错误/elasticsearch-7.6.2/bin执行可执行文件：./elasticsearch访问2.创建索引put请求。................
ElasticSearch学习笔记一初识 Lucene
灵动的艺术的博客
10-17 1522
初识 Lucene什么是全文检索？非结构化数据搜索方法Lucene 简介索引和搜索新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图...
Elasticsearch详细笔记（一）：认识和安装ES--倒排索引--IK分词器
m0_73927143的博客
09-23 1086
关于elasticsearch的基础知识，IK分词器的安装使用
elasticsearch文档Delete By Query API(一)
2401_85763595的博客
06-28 919
小编这些年深知大多数初中级工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此我收集整理了一份《2024年Java全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你需要这些资料，⬅专栏获取分离开源项目-V部落]( )
【JS红宝书学习笔记】第1、2章 初识JS
C_greenbird的博客
05-11 1031
JavaScript 是一门用来与网页交互的脚本语言，包含以下三个组成部分。
操作系统学习笔记1 | 初识操作系统
虚幻私塾
08-13 550
操作系统是计算机硬件和应用软件之间的一层软件，方便我们使用硬件（比如显存）、高效地使用硬件（如打开多个终端和窗口）：CPU管理、内存管理终端管理、磁盘管理文件管理、网络管理电源管理、多核管理而组成一个操作系统最基本的是前五个。学习操作系统可以有很多层次：大部分人停留在第一层，即使用操作系统的接口。而计算机专业学生应当能够掌控计算机系统，真正理解操作系统的工作原理。前面代码部分，分析了bootsect.s、setup、head.s、main.c、mem_init()...
ES学习以及介绍
07-17
我自己学习的Demo
ES学习
bigdataf的博客
08-31 278
#创建 索引为blog 类型为article的文档 curl -H 'Content-Type:application/json' -XPUT http://localhost:9200/blog/article/1 -d ' { "id": "1", "title": "New version of Elasticsearch released!", "con...
es学习
weixin_43904316的博客
11-22 1585
es的简单概念： es可以更快的获得你想要搜索的数据，先对比一下和mysql的区别： es中的索引就相当于一个数据库，而类型就是一张表，文档则表示一行数据，一列代表着属性。es在存储的时候则是以json的方式进行存储的。 es之所以快是因为他维护了一张倒排索引表 比如把以上5条记录保存到es中，就会维护一张倒排索引表。比如1：红海行动就会被拆分成红海和行动。红海和行动在倒排索引中分别记录着文档1。2：探索红海行动就会被拆分成探索，红海和行动。这样倒排索引中就会分别记录对应的文档2。当我们需要进行检索.
es学习笔记
weixin_43818323的博客
02-08 1612
临近过年,小弟我上班闲来无事,左翻翻又看看,甚是无聊,思来想去还是b站有意思.每天给我推荐学习资料,沉迷学习,难以自拔,光看不不练吧,假把式,故记下笔记一篇.希望和大家携手共进,学习java,从入门到入土.....
ElasticSearch黑马
02-10
- **B站上的教学系列**：通过链接访问由黑马程序员发布的《SpringCloud学习笔记消息队列MQ学习笔记Docker学习笔记分布式搜索ElasticSearch学习笔记》中的ElasticSearch部分，该课程不仅讲解了基础理论还包含了实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值