Easysearch压缩模式深度比较：ZSTD+source_reuse的优势分析

最新推荐文章于 2025-12-05 12:37:18 发布
原创 最新推荐文章于 2025-12-05 12:37:18 发布 · 401 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#easysearch #数据库

本文详细比较了Easysearch中的zstd+source_reuse压缩模式，通过压力测试发现它在存储效率和查询性能上表现出色，尤其在geonames数据集上，压缩效率提升且不影响吞吐量，推荐在存储成本敏感的场景中使用。

引言

在使用 Easysearch 时，如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch 具备多种压缩模式，各有千秋。本文将重点探讨一种特别的压缩模式：zstd + source_reuse，我们最近重新优化了 source_reuse,使得它在吞吐量和存储效率方面都表现出色。

测试概览

测试条件选用了 esrally 工具和 geonames 数据集来进行压力测试。数据集包含了 11396503 条记录，往单个 shard 写入，对以下几种压缩模式进行压测对比：

  • default

  • best_compression

  • zstd

  • zstd + source_reuse

下图是对 CPU 的监控，可以看到各个模式对 CPU 的使用是基本相近的。

  • default
  • best_compression
  • zstd
最低0.47元/天 解锁文章
INFINI Labs
关注
文件系统压缩技术：Zstd_LZ4算法实现分析
操作系统内核探秘的博客
07-16 824
在数据爆炸的今天，文件系统面临存储成本与传输效率的双重挑战。压缩技术通过减少数据体积，成为解决这一矛盾的关键工具。本文聚焦两种主流压缩算法——Zstd（Zstandard）与LZ4，前者以“高压缩率+中等速度”著称，后者以“极快速度+可用压缩率”闻名。我们将从原理到实现，剖析它们的差异与适用场景。本文先通过生活案例引入压缩概念，再分别拆解Zstd与LZ4的核心原理（含流程图与代码示例），接着对比两者的性能表现，最后给出实战指南与未来趋势分析。LZ4。
QT+OSG/osgEarth编译之七：zstd+Qt编译（一套代码、一套框架，跨平台编译，版本：zstd-1.5.2）
LuckyHanMo的博客
10-08 801
通过一套zstd代码和框架，实现zstd跨平台编译。 在Qt环境下，集成zstd库的头文件、库文件，构建跨平台编译的pro文件。 通过构建的一套配置工程，基于Qt Creator IDE，完成跨平台编译实践。 在Windows、Linux、MacOS等操作系统上进行测试，成功编译，形成的成果（头文件、库文件等）可在不同系统下调用或使用，从而更好地构建跨平台解决方案。 采用的是zstd 1.5.2版本。 读者可参考博客中的集成原理和pro文件，构建不同版本的zstd跨平台包。
ES索引写入性能优化
zhutianrong520的博客
12-21 1085
最近一直想总结一篇es的优化文章，看了几篇博客，总结一下，方便以后遇上es线上优化问题有参考之处： 1、用bulk批量写入 es批量写入时，应该使用es的bulk写入，bulk写入还是应该考虑es的node数，shard分片数。业务中尽量将写入es的数据聚合起来分批写入。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小，需要对单...
Elasticsearch索引压缩：节省存储空间的技巧
专注搜索引擎技术
05-16 1056
Elasticsearch作为当今最流行的分布式搜索和分析引擎，其存储效率直接影响着硬件成本和运维复杂度。本文旨在系统性地介绍Elasticsearch索引压缩技术，涵盖从底层原理到生产实践的全方位知识。本文首先解析Elasticsearch存储模型，然后深入各种压缩技术细节，接着提供实战案例，最后探讨未来发展方向。每个章节都包含理论分析和实践指导。倒排索引(Inverted Index)：将文档内容映射到文档ID的数据结构Doc Values：列式存储结构，用于聚合和排序段(Segment)
ES压缩算法优化
weixin_42414008的博客
07-02 1430
背景 Lucene 当前针对 Document Fields 数据的存储，支持两种压缩算法： LZ4 Deflate LZ4 具有更快的压缩与解压速度，而 Deflate 在压缩率上更占优势。两者在性能与压缩率上存在明显的差异，基于现有的压缩算法，用户不能很好的兼容压缩比和性能，Lucene 默认的压缩算法是 LZ4。 优化方案 整合业内先进的压缩算法 Zstandard（ZSTD），提升压缩率的同时，性能损耗小。 Zstandard 压缩算法的优势 Zstandard 压缩算法可以说兼顾了
ElasticSearch降本增效常见的方法 | 京东云技术团队
JDDTechTalk的博客
01-15 1547
Elasticsearch在db_ranking 的排名不断上升，其在存储领域已经蔚然成风且占有非常重要的地位。随着Elasticsearch越来越受欢迎，企业花费在ES建设上的成本自然也不少。那如何减少ES的成本呢？其他：（1）（2）
Elasticsearch 8.x 存储有无压缩？能压缩到多少？
铭毅天下Elasticsearch
07-02 1994
1、认知前提Elasticsearch 支持压缩，压缩方式默认为：LZ4 压缩算法。具体参见：The default value compresses stored data with LZ4 compression, but this can be set to best_compression which uses DEFLATE for a higher compression ratio,...
Easysearch 字段‘隐身‘之谜：source_reuse 与 ignore_above 的陷阱解析
infinilabs的博客
10-08 922
前阵子，我们在Easysearch的实践中遇到了一个颇为诡异的问题：当同时开启source_reuse压缩功能时，某些字段内容竟然‘离奇失踪’——能够被搜索到，却在结果中不可见。这个看似灵异的现象背后，实则是source_reuse优化机制与ignore_above参数配置之间一个微妙的兼容性陷阱。本文将带你完整重现这个‘字段隐身’谜案的全过程。
cmake: symbol lookup error: cmake: undefined symbol: archive_write_add_filter_zstd
主要写大数据集群一线运维和学习工作经验
03-13 726
对于 CMake 运行时报错 symbol lookup error: undefined symbol: archive_write_add_filter_zstd，该问题通常是由于或导致。
[2024-12-16T21:43:01+0800] [ALPM-SCRIPTLET] zstd: symbol lookup error: zstd: undefined symbol: POOL_free
12-17
[2024-12-16T21:43:01+0800] 这个错误信息是在Linux系统中的ALPM脚本（Arch Linux Package Management）中遇到的，涉及到zstd库。"symbol lookup error: zstd: undefined symbol: POOL_free"意味着在运行过程中找不...
Elasticsearch与Clickhouse数据存储对比
weixin_43451620的博客
09-14 5871
@Elasticsearch与Clickhouse数据存储对比 1.使用背景 随着公司业务发展，Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次分页导出导致宕机、存储成本较高。Elasticsearch的查询语句维护成本较高、在聚合计算场景下出现数据不精确等问题。Clickhouse是列式数据库，列式型数据库适合OLAP场景，类似SQL语法降低开发和学习成本，采用快速压缩算法节省存储成本，采用向量执行引擎技术大幅缩减计算耗时。 2.OLAP OLAP意思是On-Li
【ElasticSearch】es 压缩 你的 数据
九师兄
06-22 1799
压缩很棒，使比原始尺寸更小的东西听起来很神奇，但这是可能的。我们从 WinRar、7Zip 或其他工具中了解到这一点。即使 Elasticsearch 具有压缩将在节点和客户端之间丢弃的数据的属性，这对于在处理来自 Elasticsearch 的大量响应时减少网络延迟非常有用。启用 HTTP/TCP 压缩处理压缩响应Elasticsearch 7.7 及以下Elasticsearch 7.8 及更高版本未来的 Elasticsearch 版本 7.9 和 8.0。
NineData社区版V4.7.0发布！新增MySQL至TiDB等6条数据复制对比链路，SQL窗口新增谷歌云6种数据源类型
最新发布
云原生智能数据管理平台
12-05 618
NineData社区版V4.7.0正式发布，新增6条数据复制链路（包括MySQL至OceanBase/TiDB等5条跨源链路和1条同构链路），均支持全流程数据同步与对比功能。同时新增6种谷歌云数据源支持，优化了MongoDB内网复制和MySQL XA事务性能。该版本现已支持27种数据库迁移链路，提供包括SQL审核、结构设计等企业级DevOps能力。作为免费开源工具，NineData社区版支持Docker快速部署，具备高性能CDC同步技术，适用于数据库迁移、容灾、ETL等场景，5-10分钟即可完成安装体验。
【免费云平台部署指南】按场景选型+全维度对比（附直达地址）
分享技术干货，聚焦AI前沿科技
12-03 819
免费云平台已能覆盖从静态网站到AI模型部署的大部分场景，核心是根据项目类型（静态/后端/AI）、访问地区（国内/国外）和功能需求（数据库/容器/GPU）选择适配平台。新手建议从简单场景入手（如GitHub Pages部署博客、Hugging Face Spaces部署AI Demo），熟悉后再尝试全栈或容器化部署。
python+django/flask+vue的基于协同过滤算法的体育商品推荐系统
Q_Q1963288475的博客
12-04 517
相比于传统的体育商品推荐方式，个性化智能的管理方式可以大幅提高体育商品推荐的管理效率，实现了个性化智能体育商品推荐的标准化、制度化、程序化的管理，有效地防止了体育商品推荐的随意管理， 功能主要包括首页、个人中心、用户管理、商品分类管理、商品信息管理、交流论坛、留言板、系统管理、订单管理等功能，从而实现个性化智能体育商品推荐方式，提高个性化智能体育商品推荐的效率。
向量数据库原理
qq_38895905的博客
12-04 182
day22 了解向量数据库原理（相似度检索）
Linux设备管理：从内核驱动到用户空间的完整架构解析
X
12-03 761
A[物理硬件插入/移除] --> B[内核驱动探测]B --> C{Linux统一设备模型 LDM}C --> D[在/sysfs创建对象]C --> E[发送uevent事件]D --> F[用户空间工具<br>lspci, lsusb等]E --> G[UDEV守护进程]G --> H[扫描规则库 /etc/udev/rules.d/]H --> I[匹配并执行规则]I --> J1[创建设备节点 /dev/]I --> J2[设置权限与所有权]I --> J3[执行自定义脚本]
【开题答辩全过程】以 基于Javaweb的电动汽车充电桩管理系统为例，包含答辩的问题和答案
shiji9932的博客
12-03 390
本文介绍了一位14年经验的技术专家可提供的毕设支持服务，包括Java、Python等多语言项目开发与答辩指导。重点展示了一个"电动汽车充电桩管理系统"的答辩案例，详细说明了系统功能（预约管理、费用计算等）、技术实现（SpringBoot+Vue+MySQL）及关键问题解决方案（如预约冲突处理、断电检测机制）。文中提供了答辩问答实录，展现了从选题背景到技术细节的完整答辩过程，并附有评委的正面评价。最后建议学生可参考往届真实开题报告，提供选题指导、源码参考等服务，强调独立完成的重要性，同时表
python+django/flask+vue基于web的产品管理系统
Q_Q511008285的博客
12-04 584
在信息化和全球化加速发展的背景下，企业面临着产品种类不断增加、市场需求变化加快、供应链协作日益复杂的挑战，传统依赖Excel表格、纸质文档和孤立系统的产品管理方式已难以满足高效、精准、协同的管理需求，常常导致信息更新不及时、数据不一致、审批流程冗长、库存与销售脱节等问题，制约了企业的市场响应速度与决策质量。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值