Elasticsearch-索引的批量操作

原创 已于 2024-12-26 12:35:01 修改 · 725 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #大数据 #搜索引擎 #全文检索

于 2024-12-26 12:34:33 首次发布

索引的批量操作

  • 批量查询和批量增删改

    • 批量查询
#批量查询
GET product/_search
GET /_mget
{
   
   
  "docs": [
    {
   
   
      "_index": "product",
      "_id": 2
    },
    {
   
   
      "_index": "product",
      "_id": 3
    }
  ]
}

GET product/_mget
{
   
   
  "docs": [
    {
   
   
      "_id": 2
    },
    {
   
   
      "_id": 3
    }
  ]
}
#SELECT * FROM TABLE WHERE id in()
GET product/_mget
{
   
   
  "ids": [
    2,
    3,
    4
  ]
}

GET product/_mget
{
   
   
  "docs": [
    {
   
   
      "_id": 2,
      "_source":
最低0.47元/天 解锁文章
ElasticSearch概述
云原生运维
11-13 1268
从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；尽管我们可以随意的新增或者忽略某个字段，但是，每个字段的类型非常重要，比如一个年龄字段类型，可以是字符串也可以是整形。在前面的学习中，我们已经掌握了 es 是什么，同时也把 es 的服务已经安装启动，那么 es 是如何去存储数据，数据结构是什么，又是如何实现搜索的呢？
Java操作ElasticSearch-索引-文档
qwq1518346864的博客
06-07 1434
一.Java操作ElasticSearch 1.Java连接ES 创建Maven工程 导入依赖 <dependencies> <!-- 1. elasticsearch--> <dependency> <groupId>org.elasticsearch</groupId> <artifactId&gt...
Elaticsearch 总结
weixin_46742102的博客
08-22 943
1、为什么用es做搜索而不用myslq 原因: 1）描述上万文字 不可能一一进行判断 2）es能进行分词，mysql不可以分词，比如我们想搜索 “生化危机” 生危机，mysql不能搜索到，es就可以搜到 3）大量查询mysql比较低下 4）用数据库来实现搜索，是不太靠谱的。通常来说，性能会很差的 2、全文检索 ------------------------- 总结1：数据库里面的数据 比如100万条，按照之前思路数据库存储，其实就是要扫描100万次，而且每次扫描 都需要匹配那个文本所有的字符，确认是
ElastchSearch 基本使用姿势
程序员高级码农的博客
01-05 1050
ElastchSearch 基本使用姿势，如常见的添加文档常见的查询姿势修改/删除文档。
批量创建ES索引
喝醉酒的小白
01-24 916
【代码】批量创建ES索引。
什么是Elasticsearch
千里之行始于足下
12-21 475
什么是Elasticsearch Elasticsearch，分布式，高性能，高可用，可伸缩的搜索和分析系统 1、什么是搜索？ 2、如果用数据库做搜索会怎么样？ 3、什么是全文检索、倒排索引和Lucene？ 4、什么是Elasticsearch？ ----------------------------------------------------------
elasticsearch-6.8.0+elasticsearch-analysis-ik-6.8.0 .zip
06-03
通过添加依赖，可以轻松创建 Elasticsearch 的客户端，实现索引的创建、文档的增删改查以及复杂的查询操作。Spring Data 提供的注解使得操作 Elasticsearch 如同操作数据库一样简单，提高了开发效率。 **搜索引擎的...
elasticsearch-bulk-insert-plugin-9插件，支持ES7.16
12-08
插件的工作原理主要是利用Elasticsearch的Bulk API，该API允许一次性提交多个索引、更新或删除操作，从而减少网络通信开销并提高整体性能。通过这个插件，Kettle作业或转换中的步骤能够将数据分组并以批量方式发送到...
elasticsearch-bulk-insert-plugin.zip
10-29
Elasticsearch-Bulk-Insert-Plugin 是一个专为Kettle设计的插件，主要用于高效地将大量数据批量插入到Elasticsearch（ES）集群中。Elasticsearch是一种流行且功能强大的分布式搜索引擎，常用于大数据分析、日志分析...
elasearch 知识点
lych_1990的博客
09-17 716
删除 POST /zy/_delete_by_query { "query": {"terms": { "id": [ ] }} }
Elasticsearch搜索引擎
qq_53573029的博客
03-02 3483
什么是elaticsearch？一个开源的分布式搜索引擎，可以用来实现搜索，日志统计，分析，系统监控等功能什么是elastic stack（ELK）？是以elaticsearch为核心的技术栈，包括bears，Logstash，kibana，elaticsearch什么是Lucene？是Apache的开源搜索引擎类库，提供了搜索引擎的核心API什么是文档和词条？每一条数据就是一个文档对文档中的内容分词，得到的词语就是词条什么是正向索引？基于文档id创建索引，查询词条时必须先找到文档，而后判断是否包含词条。
ElacticSearch入门
chen的博客
07-25 472
"query": {"match": {"name": "詹姆斯"},"name":{}
Elasticsearch聚合学习之二：区间聚合
程序员欣宸的博客
05-03 5548
本文是《Elasticsearch聚合学习》系列的第二篇，上一篇是我们熟悉了聚合的基本操作，本篇的内容是按照区间聚合的实战操作；
elasearch全文查询和词条查询
海涛高软
03-15 560
使用match做全文检索，比较适合text类型,index=true GET my_index/my_type/_search { "query": { "match": { "full_text": "xx yy" } } } term做词条查询，比较适合keyword类型，index=true POST /_search -d { ...
python Elasearch 查询
LeonTom的博客
03-31 600
python es 基本查询 占位1
搜索引擎——Elasticsearch
qq_52030824的博客
01-20 4045
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，**它可以快速地储存、搜索和分析海量数据。**作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。Elasticsearch：官方分布式搜索和分析引擎 | Elastic**Mapping 是用来定义一个文档（document），以及它所包含的属性（field）是如何存储和索引的。**当添加数据时，他会自动处理属性类型。
[Elastic Search] 一文入门Elastic Search的基本使用
weixin_51282703的博客
06-20 1394
设置自定义的字典在IK分词器中是一个重要的功能，它允许用户根据特定的需求添加或修改词汇。
Elaticsearch基本使用，2021大厂Java面试经历
m0_60607838的博客
09-03 266
删除索引请求格式： DELETE /索引库名 示例: 使用HEAD请求，查看索引是否存在： HEAD /索引库名 示例： 映射配置 索引有了，接下来肯定是添加数据。但是，在添加数据之前必须定义映射。映射是定义文档的过程，文档包含哪些字段，这些字段是否保存，是否索引，是否分词等，配置清楚映射，Elasticsearch会帮我们进行索引库的创建。 创建映射字段： PUT /索引库名/_mapping/类型名称 { "properties": { "字段名": {
本地laravel请求本地docker搭建的elsearch提示的错误No alive nodes found in your cluster，我在全网都找不到答案，来看看我的吧。我自己的探索和解决
qq_41672878的博客
05-31 1466
解决docker 搭建es ，然后用laravel请求提示No alive nodes found in your cluster 错误的问题，全网都找不到答案，来看看我的吧。我自己的探索解决
elasticsearch-rest-client 不用 elasticsearch-rest-high-level-client 批量插入对象
最新发布
11-18
<think> 我们被要求使用elasticsearch-rest-client（低级别客户端）来实现批量插入对象，而不使用high-level-client。根据引用[3]，我们知道high-level-client已经被弃用，所以使用低级别客户端是合理的。 步骤： 1. 创建RestClient实例。 2. 构建批量请求的JSON体。批量操作的格式要求每个操作有两行：一行是操作和元数据，一行是源文档（对于索引操作）。 3. 发送HTTP请求到_bulk端点。 注意：批量操作的格式如下： { "index" : { "_index" : "test", "_id" : "1" } } { "field1" : "value1" } { "index" : { "_index" : "test", "_id" : "2" } } { "field1" : "value2" } 我们将对象列表转换为这种格式的JSON字符串，然后通过HttpEntity封装，使用RestClient发送请求。 代码示例： 假设我们有一个对象列表，每个对象是一个Map或者是一个可以转换为JSON的对象。 我们将使用Jackson库来转换对象为JSON字符串，但也可以使用其他JSON库。 首先，添加依赖（如果还没有）： implementation 'com.fasterxml.jackson.core:jackson-databind:2.12.5' 然后，编写批量插入的方法： </think> 以下是使用**elasticsearch-rest-client**（低级客户端）实现对象批量插入的完整方案，无需依赖高级客户端（high-level-client）： ### 一、核心实现步骤 #### 1. 添加依赖（Gradle） ```gradle implementation 'org.elasticsearch.client:elasticsearch-rest-client:7.17.0' // 与ES版本一致 implementation 'com.fasterxml.jackson.core:jackson-databind:2.13.0' // JSON序列化 ``` #### 2. 构建批量请求体 ```java import org.apache.http.entity.ContentType; import org.apache.http.nio.entity.NStringEntity; import org.elasticsearch.client.Request; import org.elasticsearch.client.RestClient; // 对象转换为JSON工具 private String toJson(Object obj) throws JsonProcessingException { ObjectMapper mapper = new ObjectMapper(); return mapper.writeValueAsString(obj); } // 构建批量请求 public Request buildBulkRequest(List<Object> objects, String indexName) { StringBuilder bulkBody = new StringBuilder(); for (Object obj : objects) { // 操作元数据 bulkBody.append(String.format( "{ \"index\" : { \"_index\" : \"%s\" } }%n", // %n保证换行符 indexName )); // 文档主体 bulkBody.append(toJson(obj)).append("\n"); // 必须换行 } Request request = new Request("POST", "/_bulk"); request.setEntity(new NStringEntity(bulkBody.toString(), ContentType.APPLICATION_JSON)); return request; } ``` #### 3. 执行批量插入 ```java public void bulkInsert(RestClient restClient, List<Object> objects, String indexName) { try { Request request = buildBulkRequest(objects, indexName); Response response = restClient.performRequest(request); // 解析响应（示例） String responseBody = EntityUtils.toString(response.getEntity()); System.out.println("Bulk response: " + responseBody); } catch (IOException e) { throw new RuntimeException("Bulk insert failed", e); } } ``` ### 二、关键注意事项 1. **批量格式规范**： - 每行必须用`\n`分隔，不可省略 - 操作类型支持`index`（创建/更新）、`create`（仅创建）、`delete`等 ```json { "index": { "_index":"users", "_id":"1" } } { "name":"Alice", "age":28 } ``` 2. **性能优化**： ```java // 在RestClientBuilder中配置 RestClient.builder(new HttpHost("localhost", 9200)) .setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder .setMaxConnTotal(100) // 最大连接数 .setMaxConnPerRoute(50) // 单路由最大连接 ); ``` 3. **错误处理**： ```java // 解析ES返回的错误信息 JsonNode root = new ObjectMapper().readTree(responseBody); if (root.get("errors").asBoolean()) { for (JsonNode item : root.get("items")) { JsonNode error = item.get("index").get("error"); if (error != null) { System.err.println("Error: " + error.get("reason")); } } } ``` ### 三、完整调用示例 ```java // 1. 初始化客户端 RestClient restClient = RestClient.builder( new HttpHost("localhost", 9200) ).build(); // 2. 准备数据 List<User> users = Arrays.asList( new User("Alice", 28), new User("Bob", 32) ); // 3. 执行批量插入 bulkInsert(restClient, users, "users"); // 4. 关闭客户端 restClient.close(); ``` ### 四、与高级客户端对比 | **特性** | **低级客户端** | **高级客户端** | |----------------|-----------------------------------|-----------------------------------| | 依赖项 | 仅需`rest-client` | 需`rest-high-level-client` | | 代码量 | 需手动构建JSON请求体 | 封装好的API（如`BulkRequest`） | | 灵活性 | 完全控制请求/响应格式 | 受限于预定义模型 | | 维护性 | 需处理底层细节 | 更易读和维护 | | 版本兼容性 | 兼容更广泛的ES版本 | 需严格匹配ES服务端版本 | > 建议：需要精细控制请求或轻量化部署时使用低级客户端；追求开发效率时推荐高级客户端[^3]。 ### 五、常见问题解决 1. **413 Request Too Large**： ```java // 分批处理（每批500条） int batchSize = 500; for (int i = 0; i < objects.size(); i += batchSize) { List<Object> batch = objects.subList(i, Math.min(i + batchSize, objects.size())); bulkInsert(restClient, batch, indexName); } ``` 2. **序列化特殊字段**： ```java // Jackson配置处理LocalDateTime ObjectMapper mapper = new ObjectMapper(); mapper.registerModule(new JavaTimeModule()); mapper.disable(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS); ``` ### 附录：User对象示例 ```java public class User { private String name; private int age; // 必须有无参构造函数 public User() {} public User(String name, int age) { this.name = name; this.age = age; } // getters/setters省略 } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值