ElasticSearch记录

最新推荐文章于 2025-07-02 10:57:05 发布
转载 最新推荐文章于 2025-07-02 10:57:05 发布 · 312 阅读 · 1
文章标签：

#分布式

本文详细介绍ElasticSearch的安装、基本操作及索引管理，包括如何使用HTTP方法进行数据处理，索引创建、删除、查询及映射管理等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一 ElasticSearch 是什么
二 怎么使用
1 安装ElasticSearch 和head插件，以及需要的依赖
①下载elasticSearch 官网下载地址
链接：https://pan.baidu.com/s/1G6vTU52iSIbChLIUX71-Eg
提取码：y7ri
② 下载head插件 git下载地址
链接：https://pan.baidu.com/s/12tNwXH1jqlCRvzoL0IyN7w
提取码：tlfr
安装下载node.js / grunt/ pathomjs
参考地址
配置完成之后
安装head插件 参考地址
最后注意启动地址
启动地址
http://localhost:9200/_plugin/head/
因为这是head插件集成到es中 启动地址是这个 访问该地址的时候只需要进入es的bin目录进行启动elasticsearch.bat 文件

三 语法使用规则（只讲http方法）

http 方法数据处理说明
postcreate新增一个没有id的资源
getread获取一个资源
putupdate更新一个资源，或者新增一个有id的资源（如果id不存在）
deletedelete删除一个资源

3.1 通用参数介绍
1 pretty
pretty=true //请求的返回值 是经过格式化后的json 数据
pretty=yaml //yaml格式

2 human
默认是false
true(更符合人类阅读的数据)

3 日期表达式
now 表示当前日期 或者 自己写日期后面添加||
y年 m月 w 周 d 天 h 小时 m 分钟 s 秒
+1h 增加1 小时
-1d 减少1天
/d 对某个单位四舍五入
now+1h 当前时间加上一小时
2015-01-01||+1d 1025年1月1日加上一天

4 响应过滤（filter_path）
指定返回值的字段 中间使用,分割
在这里插入图片描述
也可以使用* 通配符 匹配任何部分字段的名称
** 用来匹配不确定字段的名称
四 具体使用示例

  1. 创建库
    http://127.0.0.1:9200/secisland?pretty 在请求方法中选择put

在这里插入图片描述
创建了一个索引为secisland 的索引（按照前面的介绍索引相当于普通的数据库）
查询数据库状态
方法1 在浏览器地址直接输入 http://localhost:9200/_cat/indices?v
在这里插入图片描述
方法2 使用head插件
在这里插入图片描述
2. 插入数据（文档相当于原来数据库中的每一行的数据）
put http://localhost:9200/secisland/secilog/1/
参数
{“computer”:“secisland”,
“message”:“it is a good computer”
}
在这里插入图片描述
修改文档
在这里插入图片描述
查询
在这里插入图片描述

删除
在这里插入图片描述
删除库
delete http://localhost:9200/secisland/

  1. 索引
    2.1索引管理
    2.1.1 创建索引
    put http://ip:+端口/+索引的名字/
    2.1.2删除索引
    delete http://ip:+端口/+索引的名字/
    使用_all 或者 * 可以获取对应的全部的索引
    2.1.3 获取索引
    get http://ip:+端口/+索引的名字/
    获取该索引的详细信息包括一些配置信息
    对结果进行过滤
    下划线+字段的名字 表示显示的结果为哪些 多个字段之间使用 ,分割
    http://localhost:9200/secisland/_aliases,_mappings/
    在这里插入图片描述
    2.1.4 打开/关闭索引
    /索引名/_close 关闭
    /索引名/_open 打开
    如果指向了不存在的索引会抛出错误 可以使用 ignore_unavailable=true 不显示异常
    禁止使用关闭索引功能
    settingscluster.indices.close.enable false 默认为true
    2.2 索引映射管理
    2.2.1 增加映射
    允许向索引（index）添加文档类型（type）,或者向文档类型中添加字段（field）
    例子1 向索引secisland 添加文档类型为user 包含字段name 字段类型为字符串
    在这里插入图片描述
    例子2 向已经存在的索引secisland 文档类型为log 添加新的字段user_name 字段类型为字符串
    在这里插入图片描述
    1 向多个索引设置映射
    可以一次向多个索引添加文档类型
    put http://localhost:9200/_all/_mapping/wendang/ 向所有索引添加wendang 字段为 ziduan
    在这里插入图片描述
    2 不同类型之间的冲突
    在同一个索引的不同类型中，相同名字的字段必须有相同的映射，因为他们呢内部是在同一个领域内，所以更新的时候需要指定update_all_types 参数，这个时候会更新所有统一索引同名称的映射参数
    例如
    修改映射的操作如下
    在这里插入图片描述
    报错信息显示 需要修改全部
    所以使用update_all_types参数 （我使用的2.3版本的暂时报错，这个解决了补上）

2.2.2 获取映射
host:port/{index}/_mapping/{type}/
其中{index}和{type}可以接受,
get http://localhost:9200/_all/_mapping/
在这里插入图片描述
2.2.3 判断类型是否存在
检查索引或文档类型是否存在
head http://localhost:9200/secisland/log/
存在返回200 不存在返回404
2.3 索引别名
在这里插入图片描述
删除别名
{
“actions”: [
{
“remove”: {
“index”: “secisland”,
“alias”: “alias1”
}
}
]
}
修改别名 可以使用先删除再添加的方法
{
“actions”: [
{
“remove”: {
“index”: “secisland”,
“alias”: “alias1”
}
}，
{
“add”: {
“index”: “secisland”,
“alias”: “alias2”
}
}
]
}
一个别名关联多个索引
{
“actions”: [
{
“add”: {
“index”: “index1”,
“alias”: “alias1”
}
}，
{
“add”: {
“index”: “index2”,
“alias”: “alias1”
}
}
]
}

或者
{
“actions”: [
{
“add”: {
“indices”: [“index1”,“index2”],
“alias”: “alias1”
}
}
]
}

1 过滤索引别名
在这里插入图片描述

  1. 映射
  2. 搜索
  3. 聚合
  4. 集群管理
  5. 索引分词器
  6. 高级配置
  7. 告警、监控和权限管理
  8. elk应用
elasticsearch实战(注解方式实现日志实时记录)
weixin_44185213的博客
09-26 882
一、环境安装 1.es安装 下载地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-3-1 选择对应版本下载。解压到文件夹。 双击 elasticsearch.bat 启动。 访问9200端口，启动成功。 2.安装可视化工具 本地安装node环境。 代码下载地址：https://github.com/mobz/elasticsearch-head 下载后解压并启动。 2.代码开发 1.添加依赖
Elasticsearch使用记录
weixin_30909575的博客
11-23 105
Elasticsearch使用记录 Elasticsearch使用记录 Elasticsearch的搭建方法 1.RPM方式搭建 首先去官网[https://www.elastic.co/downloads/elasticsearch#ga-release] 下载最新的ES RPM安装包，下载下来之后，直接执行rpm -ivh elastic...
Elasticsearch 入门教程！
最新发布
weixin_43400476的博客
07-02 1904
Elaticsearch，简称为 ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。
elasticsearch7.6.x的记录
大叶子不小的博客
07-30 191
ESK elasticsearch logstash kubana 1.聊一个人 2.货比三家 3.安装 4.生态圈 5.分词器 6.RestFul操作ES 7.CRUD 8.springboot集成ES 9.爬虫爬取数据 10.实战，模拟全文检索 以后用到搜索可以使用ES（大数据量的情况） sola， ...
elasticsearch查看所有的搜索记录
huangweibbk的专栏
11-15 1097
PUT /user/_settings HTTP/1.1 Host: 127.0.0.1:9200 Content-Type: application/json Content-Length: 115 { "index.search.slowlog.threshold.query.warn": "0", "index.indexing.slowlog.threshold.index.warn": "0" } 然后查看logs 目录下面的： rick_index_search_slowlog
Elasticsearch：自定义应用程序的日志记录 - Elastic Common Schema - Python
Elastic 中国社区官方博客
08-12 1459
在我们的许多开发的应用中，有许多的日志生成。我们可以使用 Beats 或者 Logstash 来收集这些日志，并最终发送至 Elasticsearch。这些日志信息为我们对这些应用的可观则性提供了可能。如果应用生成的日志满足，那么它将节省我们很多的事情，比如我们无需对日志进行结构化，甚至做丰富等操作。在我之前的文章 “”，我展示了如何使用 Filebeat 来收集 JSON 格式的日志。...
Hyperf使用ElasticSearch记录
weixin_47367099的博客
10-23 1369
hyperf/elasticsearch 主要为 elasticsearch-php 进行了客户端对象创建的工厂类封装，elasticsearch-php 默认使用 Guzzle Ring 客户端，在 hyperf/guzzle 中我们实现了协程版本的 Handler，所以可以直接使用 Hyperf\Elasticsearch\ClientBuilderFactory 创建一个新的 Builder。这里的账号密码指的是创建 elasticsearch 的时候的账号密码。可以在这里查看每个方法的数据格式。
001 定期同步mysql数据到es 删除数据库记录同时删除es记录 es全文搜索分词和高亮
05-07
【标题】"001 定期同步mysql数据到es 删除数据库记录同时删除es记录 es全文搜索分词和高亮" 提供了几个关键的IT知识点，这些知识点主要围绕MySQL数据库与Elasticsearch（ES）的数据同步、数据一致性的保持以及ES的...
ASP.NET Core使用Elasticsearch记录API请求响应日志实战演练
跟着阿笨一起玩NET
05-04 912
一、ASP.NET Core WebApi如何设计一个日志中间件？ ASP.NET Core WebApi一个良好的日志记录内容包含，唯一请求Id（traceId），请求url，请求body内容，相应body内容，执行开始和执行结束时间，总耗时时间等等。通过组合 Docker，ElasticSearch，Kibana，ASP.NET Core 和 Serilog ，您获得了前所未有的便利性和功...
elasticsearch的基本用法
kky2010_110的专栏
10-09 2829
开始学习使用 elasticsearch, 把步骤记录在这里： 最大的特点： 1. 数据库的 database, 就是  index 2. 数据库的 table,  就是 tag 3. 不要使用browser， 使用curl来进行客户端操作.  否则会出现 java heap ooxx... curl:  -X 后面跟 RESTful ：  GET, POST ... -d 后
【ES】Elasticsearch使用记录一
大圈技术博客
05-28 595
目标：与JAVA系统集成，掌握基本的ES JAVA API 使用 一、什么是搜索引擎，能解决什么问题 搜索的场景：相关性、贴近用户选择，筛选精准，自动提示，错字识别，且速度要快 例：电商---「京东筛选电脑事例」 百度搜索，关键字关键词匹配，权重排序广告排名 在github 上搜索代码 二、ES为什么能胜任搜索引擎工作 1、底层使用Lucene引擎实现，默认情况下会将所有数据进行索引 Lucene倒排索引有助于速度的提升 倒排索引示例：「存储搜索文章索引...
关于AOP的使用--Elasticsearch记录用户日志
自强不息，厚德载物，未来可期
02-16 1060
@Aspect @Component public class AuditControllerAspect { private Logger logger = LoggerFactory.getLogger(this.getClass()); private ThreadLocal<AuditRequestInfo> result = new ThreadLocal<>(); protected static final ExecutorService
ES 操作历史记录
CB_Beginner的博客
02-25 828
【代码】ES 操作历史记录。
Elasticsearch基本使用一（基本正删改查操作）
踟蹰千年的博客
06-03 358
使用kibana操作ES 创建索引 ##1.创建索引 PUT /xuxu 创建类型 文档 字段 ##3.创建(修改)文档 索引/类型/id PUT /xuxu/user/1 { "name":"xuxuname", "age":20, "sex":"男" } 查询索引 ##2.查询索引 GET /xuxu { "xuxu": { "aliases"...
elasticsearch
javahuman的博客
05-09 119
@[TOC]elasticsearch启动五个问题 1.max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535] 修改vim /etc/security/limits.conf 退出用户登录 2.max number of threads [1024] for user [kafka] is too low, increase to at least [4096] 修改/et
Elasticsearch 通过Scroll遍历索引，构造pandas dataframe 【Python多进程实现】
GJLNaughtyCat的专栏
06-29 667
首先，python 多线程不能充分利用多核CPU的计算资源（只能共用一个CPU），所以得用多进程。笔者从3.7亿数据的索引，取200多万的数据，从取数据到构造pandas dataframe总共大概用时14秒左右。每个分片用一个进程查询数据，最后拼接出完整的结果。 由于返回的json数据量较大，每次100多万到200多万，如何快速根据json构造pandas 的dataframe是个问...
使用Python将Elasticsearch索引数据读入Pandas DataFrame
PixelEnigma的博客
09-05 196
在本文中，我们将探讨如何使用Python将Elasticsearch索引中的数据读取到Pandas DataFrame中。Elasticsearch是一个开源的分布式搜索和分析引擎，而Pandas是一个强大的数据分析库，能够处理和分析各种类型的数据。这是一个简单的示例，展示了如何使用Python将Elasticsearch索引数据读取到Pandas DataFrame中。现在，你可以使用Pandas提供的各种功能对DataFrame进行进一步的数据处理和分析。然后，我们定义了一个查询，使用。
python将pandas dataframe内容写入ElasticSearch实战
data+scenario+science+insight
06-28 961
python将pandas dataframe内容写入ElasticSearch实战 目录 python将pandas dataframe内容写入ElasticSearch实战 索引设置 数据写入 数据查询 索引设置 #对应的Elasticsearch的索引； ES index PUT sleep_pattern { "mappings": { "doc": { "dynamic": "strict", "properti
Elasticsearch：将数据从 Elasticsearch 和 Kibana 导出到 Pandas Dataframe
Elastic 中国社区官方博客
01-28 2062
在这篇文章中，我们将看到如何从 Elasticsearch 索引和 Kibana 的 CSV 报告中导出数据 - post-url 到 pandas 数据帧。数据的可视化可以在 Kibana 中完成，但如果你想对数据进行更精细的分析并创建更动态的可视化，将数据导出到 pandas dataframe 将是一个不错的选择。在如下的演示中，我将使用 Elastic Stack 8.5.3 来进行展示。
elasticsearch添加记录
03-20
### 如何在 Elasticsearch 中添加文档 要在 Elasticsearch 中添加文档，可以使用其 RESTful API 或者通过客户端库（如 Python 的 `elasticsearch-py`）。以下是详细的说明： #### 使用 RESTful API 添加文档 可以通过 HTTP POST 请求将 JSON 数据发送到指定索引下的 `_doc` 路径。例如，假设有一个名为 `my_index` 的索引，并希望向其中添加一条记录，则请求如下所示[^2]： ```bash POST http://localhost:9200/my_index/_doc/1 Content-Type: application/json { "title": "Elasticsearch Basics", "content": "Learn how to use Elasticsearch effectively." } ``` 上述命令会创建一个新的文档并将其存储在 `my_index` 索引中。 #### 使用 Python 客户端添加文档 如果更倾向于编程方式操作 Elasticsearch，可以利用官方支持的 Python 库 `elasticsearch-py`。安装该库后，可通过以下代码片段完成相同的操作: ```python from elasticsearch import Elasticsearch es = Elasticsearch([{'host': 'localhost', 'port': 9200}]) document = { "title": "Elasticsearch Basics", "content": "Learn how to use Elasticsearch effectively." } response = es.index(index="my_index", id=1, document=document) print(response['result']) ``` 此脚本初始化了一个连接至本地运行实例的 Elasticsearch 对象，并调用了 `.index()` 方法来插入新数据条目。 #### 注意事项 当尝试解析或处理查询时遇到错误消息 `{ "valid": false, "error": "org.elasticsearch.common.ParsingException: no [query] registered for [mach]" }` ，这通常表明存在语法问题或者不被识别的关键字存在于所提交的查询之中[^1] 。因此，在构建任何类型的请求之前，请仔细验证所有的参数名称及其对应的值是否正确无误。 另外值得注意的是，尽管本文未具体提及有关冷热架构设置的内容，但在大规模生产环境中合理规划不同角色节点（比如专用暖节点）对于优化性能至关重要[^4]。 最后提醒一下，虽然这里展示了基本方法论，实际应用过程中可能还需要考虑诸如批量导入、冲突解决策略等因素。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值