【elasticsearch】序列化与反序列化机制

原创

已于 2025-09-26 11:08:57 修改 · 415 阅读

·

3

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

于 2025-09-26 10:40:18 首次发布

Elasticsearch 几乎不用 Java 自带的 `java.io.Serializable` 机制，而是自己定义了一套“写-读”协议，核心就是两个接口方法：

1. `void writeTo(StreamOutput out)`

2. `static T readFrom(StreamInput in)`

只要一个类实现了这对方法，框架就能把它的字段按顺序写成字节、再按同样的顺序读回来；与 `Serializable` 没有任何关系。

`ClusterState` 以及 `DiscoveryNode`、`IndexMetaData`、`ShardRouting` 等所有集群级对象都遵循这套协议，所以它们虽然没实现 `Serializable`，照样可以在节点之间来回传输并完整重建。

---

一、ES 的网络层：基于 Netty 的 “Transport” 协议

- 节点之间所有通信（包括集群状态发布、索引请求、搜索请求）统一走 TCP 传输层，称作 transport。

- 传输的消息必须实现 `TransportRequest` 或 `TransportResponse` 接口，而这两个接口的唯一要求就是：

“你会把自己写到 `StreamOutput`，也能从 `StreamInput` 读回来”。

- 因此，ES 里只要出现跨节点的对象，就一定会配套实现 `writeTo`/`readFrom`，否则连编译都过不了。

---

二、StreamOutput / StreamInput：定制的“高效字节流”

- 位于 `org.elasticsearch.common.io.st

最低0.47元/天解锁文章

博客等级

码龄8年

404
原创

2432
点赞

2111
收藏

1057
粉丝

关注

私信

热门文章

分类专栏

展开全部收起

上一篇：: 【Java】类要不要实现serializable有什么决定

下一篇：: 【Elasticsearch】JoinAccumulator实现类静态内部类与内部类的区别

最新评论

【Elasticsearch】 Intervals Query
risc123456: 在Elasticsearch中，`intervals`查询允许基于词项顺序和邻近度的精确匹配。以下是结合多个规则匹配精确顺序的方法及优化查询性能的策略： --- ### **一、使用 `intervals` 查询实现多规则顺序匹配** #### 1. **基础语法结构** ```json GET /your_index/_search { "query": { "intervals": { "your_text_field": { "all_of": { // 必须满足所有子规则 "ordered": true, // 强制按顺序匹配 "intervals": [ // 定义多个子规则 { "match": { "query": "term1 term2", "max_gaps": 0 } }, { "match": { "query": "term3 term4", "max_gaps": 1 } } ], "max_gaps": 5 // 允许子规则之间的最大间隔 } } } } } ``` #### 2. **关键参数解释** - **`all_of` / `any_of`**: - `all_of`: 所有子规则必须匹配。 - `any_of`: 任意子规则匹配即可。 - **`ordered`**: - `true`: 子规则必须按顺序出现。 - `false`（默认）: 允许无序。 - **`max_gaps`**: - 控制词项之间的最大间隔（默认为`-1`，无限制）。 - **`filter`**: - 附加过滤条件（如词项必须包含特定字段）。 #### 3. **示例：多规则顺序匹配** 匹配文本中 **必须依次出现** "quick brown fox" 和 "lazy dog"，且两者间隔不超过5个词： ```json { "query": { "intervals": { "content": { "all_of": { "ordered": true, "intervals": [ { "match": { "query": "quick brown fox", "ordered": true, "max_gaps": 0 // 三个词必须连续 } }, { "match": { "query": "lazy dog", "ordered": true, "max_gaps": 0 } } ], "max_gaps": 5 // 两个短语之间最多间隔5个词 } } } } } ``` --- ### **二、性能优化策略** #### 1. **索引设计优化** - **字段映射**: - 对需要高精度匹配的字段，启用 `position` 和 `offset`（默认启用）： ```json { "mappings": { "properties": { "content": { "type": "text", "index_options": "offsets" // 记录词项位置信息 } } } } ``` - **避免嵌套过多规则**: - 减少 `all_of`/`any_of` 的子规则数量，复杂逻辑可拆分为多个查询。 #### 2. **查询优化** - **限制匹配范围**: - 结合 `filter` 上下文缩小文档集： ```json { "query": { "bool": { "filter": [ { "range": { "timestamp": { "gte": "now-7d/d" } } } ], "must": [ { "intervals": { ... } } ] } } } ``` - **使用 `max_gaps` 控制扫描范围**: - 设置合理的 `max_gaps` 值，避免扫描过多无关词项。 - **分页与结果截断**: - 若不需要完整结果，使用 `size` 限制返回文档数： ```json { "size": 100, "query": { ... } } ``` #### 3. **硬件与集群优化** - **分片策略**: - 根据数据量合理设置分片数（建议单个分片不超过50GB）。 - 避免跨分片查询，使用 `preference` 参数路由查询到特定分片。 - **缓存利用**: - 对频繁使用的过滤条件启用查询缓存： ```json { "query": { "bool": { "filter": [ { "term": { "category": "news" } } // 可缓存 ] } } } ``` #### 4. **监控与分析** - **Profile API**: 分析查询执行细节，定位性能瓶颈： ```json { "profile": true, "query": { ... } } ``` - **慢日志（Slow Log）**: 启用索引慢日志监控耗时操作： ```json PUT /your_index/_settings { "index.search.slowlog.threshold.query.warn": "10s", "index.search.slowlog.threshold.query.info": "5s" } ``` --- ### **三、高级场景示例** #### 场景：匹配“error”或“warning”后紧跟数字ID（如“error 500”） ```json { "query": { "intervals": { "log_message": { "any_of": { "intervals": [ { "match": { "query": "error", "filter": { "after": { "span_containing": { "little": { "match": { "query": "error" } }, "big": { "match": { "query": "[0-9]+", "use_field": "numeric_id" } } } } } } }, { "match": { "query": "warning", "filter": { ... } // 类似逻辑 } } ] } } } } } ``` --- ### **四、总结** - **精确顺序匹配**：通过 `ordered: true` 和 `max_gaps` 控制词项顺序及间隔。 - **性能优化核心**： 1. 合理设计索引映射和分片策略。 2. 限制查询范围和复杂度。 3. 利用缓存和路由减少计算量。 4. 监控查询性能并针对性调优。建议在真实数据集上通过 `Profile API` 验证优化效果，并根据实际场景调整参数。

大家在看

C语言实现LFSR伪随机序列生成 1160

最新文章

2025

目录

展开全部

收起

评论

成就一亿技术人!

拼手气红包6.0元

还能输入1000个字符

添加红包

插入表情

表情包

代码片

HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它

条评论被折叠查看

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。