Elasticsearch 存储成本优化之道：稿定科技分享数据库干货

最新推荐文章于 2025-05-16 15:42:44 发布

完美代码

最新推荐文章于 2025-05-16 15:42:44 发布

阅读量105

点赞数

CC 4.0 BY-SA版权

文章标签：数据库 elasticsearch 科技

谢绝转载-https://update.blog.youkuaiyun.com

本文链接：https://blog.youkuaiyun.com/update7/article/details/132806153

数据库专栏收录该内容

134 篇文章 ¥299.90 ¥399.90

订阅专栏

本文分享了稿定科技的Elasticsearch数据库存储成本优化方法，包括文档数据压缩、字段映射与数据类型选择、索引分片和副本配置，以及数据清理和归档。通过这些策略，可以有效降低存储成本并保持良好性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Elasticsearch 存储成本优化之道：稿定科技分享数据库干货

在这篇文章中，我们将探讨如何通过稿定科技分享的数据库干货来优化 Elasticsearch 存储成本。我们将介绍一些技巧和方法，帮助您最大限度地降低存储成本，同时保持良好的性能。下面是一些可以考虑的关键点。

文档数据压缩

Elasticsearch 提供了多种压缩算法，可以显著减少存储空间的使用。您可以使用 gzip 压缩算法对文档数据进行压缩。这可以通过在索引创建时设置相应的压缩参数来实现。以下是一个示例：

PUT /my_index
{
   
   
  "settings": {
   
   
    "index.codec": "best_compression"

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

完美代码

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

【ElasticSearch】es 压缩你的数据

九师兄

06-22

1759

压缩很棒，使比原始尺寸更小的东西听起来很神奇，但这是可能的。我们从 WinRar、7Zip 或其他工具中了解到这一点。即使 Elasticsearch 具有压缩将在节点和客户端之间丢弃的数据的属性，这对于在处理来自 Elasticsearch 的大量响应时减少网络延迟非常有用。启用 HTTP/TCP 压缩处理压缩响应Elasticsearch 7.7 及以下Elasticsearch 7.8 及更高版本未来的 Elasticsearch 版本 7.9 和 8.0。

Spring Boot进阶(54)：「简单易学：Windows 平台安装 MongoDB数据库，快速建立数据存储系统！」

**My Coding Family**

07-19

2042

Windows 平台如何搭建 MongoDB数据库？一文教会你。

参与评论您还未登录，请先登录后发表或查看评论

elasticsearch存储数据压缩

weixin_40757126的博客

10-30

2460

elk是流行的日志监控分析平台，但es占用存储空间过大，下面介绍几种压缩方案。压缩算法将LZ4改为Deflate，空间占用量可以下降10%。Elasticsearch统计的索引大小是整个索引所占空间空间的大小，整个索引包括很多文件，比如tim词典，tip词典索引，pos位置信息，fdt存储字段信息（_source实际存储的文件），等等。Elasticsearch中"codec": “best_compression” （也就是DEFLATE和LZ4压缩算法），是对fdt这个文件进行压缩。

Elasticsearch索引压缩：节省存储空间的技巧

最新发布

专注搜索引擎技术

05-16

909

Elasticsearch作为当今最流行的分布式搜索和分析引擎，其存储效率直接影响着硬件成本和运维复杂度。本文旨在系统性地介绍Elasticsearch索引压缩技术，涵盖从底层原理到生产实践的全方位知识。本文首先解析Elasticsearch存储模型，然后深入各种压缩技术细节，接着提供实战案例，最后探讨未来发展方向。每个章节都包含理论分析和实践指导。倒排索引(Inverted Index)：将文档内容映射到文档ID的数据结构Doc Values：列式存储结构，用于聚合和排序段(Segment)

ElasticSearch核心概念-压缩算法

Cristy_Chen的博客

07-25

1898

100w条数据，1int=4Bytes，则数据索引需约为4MB【太大了】稀疏数组，差值大，deltalist仍然很大，for压缩算法不适用。

Elasticsearch之储存原理和优化

weixin_45653328的博客111

08-30

2344

新的数据会继续的被写入内存，但内存中的数据并不是以段的形式存储的，因此不能提供检索功能。虽然通过延时写的策略可以减少数据往磁盘上写的次数并提升了整体的写入能力，但是我们知道文件缓存系统也是内存空间，属于操作系统的内存，只要是内存都存在断电或异常情况下丢失数据的危险。的内存中执行的，数据被分配到特定的分片和副本上之后，最终是存储到磁盘上的，这样在断电的时候就不会丢失数据。被删除的文档不会被拷贝到新的大段中。到磁盘，同时写入一个包含新段且排除旧的和较小的段的新提交点，新的段被打开可以用来搜索。

Elasticsearch 两个可以用于压缩数据尺寸的特性

很多时候，你缺少的不是知识而是热情

11-05

5485

Doc Values Doc Values 会压缩存储重复的内容。给定这样一个简单的 mapping mappings = { 'testdata': { '_source': {'enabled': False}, '_all': {'enabled': False}, 'properties': { '

从ES的JVM配置起步思考JVM常见参数优化

热门推荐

张彦峰的博客

12-03

9万+

Java 8目前仍然是许多企业中主要使用的版本之一，尤其是对于比较保守的公司。在过去，CMS (Concurrent Mark-Sweep) 垃圾回收器在Java 8中是一种常见选择，因为它在某些场景下能够提供较好的性能。然而，随着Java版本的不断更新，一些旧的特性和组件被淘汰或替代，比如CMS。Java 14中正式废弃了CMS，而新的垃圾回收器，如ZGC和G1，逐渐成为了主流选择。ZGC和G1在处理大内存堆和低停顿时间方面表现出色，适用于现代应用程序的需求。

用户画像 | 标签数据存储之Elasticsearch真实应用

大数据梦想家

02-24

6698

本文已收录github：https://github.com/BigDataScholar/TheKingOfBigData，里面有大数据高频考点，Java一线大厂面试题资源，上百本免费电子书籍，作者亲绘大数据生态圈思维导图…持续更新，欢迎star！前言上一篇文章已经为大家介绍了 HBase 在用户画像的标签数据存储中的具体应用场景，本篇我们来谈谈 Elasticsearch 的使用！ Elastics.

干货满满丨万字超全 ElasticSearch 监控指南

weixin_39009745的博客

03-19

1453

推荐收藏，带你全面了解 ES 监控

JAVA面试小结三十七：es压缩算法详解

之乎者也·的博客

10-30

454

首先回答前两个问题：数组肯定可以压缩，而且正是我们需要去做的；用FOR算法在这里进行压缩是可以的，不算错，但是我们说不合适，正如在FOR算法中介绍的那样，压缩的同时我们还有考虑解码时的效率，其实这里已经经过除法做了一次处理了，那么再用减法做一次处理，再解码时效率会降低不少，所以我们追求的是一种解码更加容器，但又能具备压缩能力的方法。但数值大小很大时，减法能够达到的效果是不明显的，比如100W,200W,300W,相减后是100W,100W,100W，依然很大，这时的压缩效果很不理想，所以引入了RBM算法。

2019-05-29 Elasticsearch 存储数据量优化

四火流年的博客

08-27

950

386个标准csv文件，9列，912M，6839927行，如果是默认index的配置进入es，即5个shards，1个replica，那么占用 3.2G的空间。估算方法：原始文件一份，倒排索引文件一份，1个replica导致数据量再次翻倍，总共大约4倍 900M * 4 = 3.6G 。与实际的 3.2G相差不大那么如何压缩占用的磁盘空间呢？ 1. 减少replica 通过下面的方式，设置0个replica，1个shard（因为只有一台机器，多shard也没用） PUT _template/&l

【数据库学习】Elasticsearch（ES）原理

午后阳光

10-01

1万+

Elasticsearch索引的精髓：一切设计都是为了提高搜索的性能以空间换时间。

Elasticsearch(snapshot)备份的使用方法

jsugs的博客

12-13

4454

注：部分概念介绍来源于网络一、Elasticsearch部署建议 1.选择合理的硬件配置尽可能使用SSD Elasticsearch最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。对于文档检索类查询性能要求较高的场景，建议考虑SSD作为存储，同时按照1:10的比例配置内存和硬盘。对于日志分析类查询并发要求较低的场景，可以考虑采用机械硬盘作为存储，同时按照1:5

ES日志存储以及备份压缩到COS

lijianlong1989的博客

07-11

166

为了满足用户日益增长的日志存储大小，不影响用户的写入和查询性能。满足不同用户写入流量。同时用户日志长期保存，日志存储比较占用空间和成本。ES集群规格配置高，消耗资源和成本。我们基于Go语言设计了一个多用户多ES集群，日志备份到cos节省成本的方案。本篇实践基于Go语言编程。

ElasticSearch降本增效常见的方法 | 京东云技术团队

JDDTechTalk的博客

01-15

1525

Elasticsearch在db_ranking 的排名不断上升，其在存储领域已经蔚然成风且占有非常重要的地位。随着Elasticsearch越来越受欢迎，企业花费在ES建设上的成本自然也不少。那如何减少ES的成本呢？其他：（1）（2）

Elasticsearch 集群优化篇

weixin_33895604的博客

03-18

715

打开微信扫一扫，关注微信公众号【数据与算法联盟】转载请注明出处：http://blog.youkuaiyun.com/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 ES5.2.1 集群部署参考：htt...