E往无前 | 日志成本下降25%+!腾讯云大数据ES Lucene压缩编码深度优化大揭秘

理解有限状态熵编码(Finite State Entropy,FSE) 理解有限状态熵编码(Finite State Entropy,FSE) 最近导师让学习一下FSE,于是花了一天时间看了很多国外的博客。可能是方法不对的原因,跳来跳去地看导致我一整天都是懵的,几乎什么也没懂。于是今天又一次静下心来回头看,认真思考后算是有了一点理解。由于没有找到足够细致的汉语资料,所以我这篇博客很有可能就是目前国内最细致的有关FSE的讲解了吧。   ——2020疫情长假期间于成都双流... 阅读详情

523ccf9f9000a08f0d627053867280ed.gif

《E往无前》系列将着重展现腾讯云大数据ES在持续深入优化客户所关心的「省!快!稳!」诉求,能够在低成本的同时兼顾高可用、高性能、高稳定等特性,可以满足微盟、小红书、微信支付等内外部大客户的核心场景需求。

E往无前 | 日志成本下降25%+!腾讯云大数据ES Lucene压缩编码深度优化大揭秘

导语:Lucene作为Elasticsearch的底层索引引擎,提供了灵活的数据检索能力。但在日志数据领域,Lucene现有的设计导致数据膨胀较为严重,本文介绍了关于Lucene底层文件格式的系统性优化思路。这些优化特性,目前都已经上线运行,存储成本整体下降25%+。同时,本文还介绍了常见压缩算法的原理,希望为更广泛的应用领域起到一定的借鉴作用。

Elasticsearch提供了丰富的搜索及聚合查询能力,以及配套数据采集与可视化组件,这是很多用户选择Elasticsearch来存储日志数据的主要原因。但在实际应用中,使用Elasticsearch来存储日志数据却显得异常"昂贵",有三方面的原因:一是Lucene索引数据导致的数据膨胀,二是大多数集群需要依赖于SSD存储介质来提供高性能的读写服务, 三是云上集群的副本冗余(ES的副本机制与云盘自身提供的多副本机制存在冗余)。

为了降低日志数据的存储成本,需要在架构与内核层面,对Elasticsearch/Lucene做出一系列的改动。本文重点讲解的是Lucene压缩编码的深度优化,核心目的是为了降低单位Document所占用的存储空间。所有的优化特性,目前都已上线运行,部分特性已经在内部客户集群中运行了半年到一年多的时间,存储成本整体下降25%+。

Elasticsearch应用现状

主流场景 

日志类数据存储与分析  

数据规模

百PB级别 

存储周期 

7~30天    

存储介质    

SSD为主(满足高性能读写需求)   

典型扩容场景    

因存储空间不足触发 

在多数集群中,用户希望存储更长的周期,但存储成本高昂。面对成本问题,常规的应对手段,包括:降低副本数;缩短存储周期。这些都是一些对服务"有损"的手段。

成本优化的可行思路

 如何有效降低存储成本,可行的思路包括:

7bd25322fcd8b7907b35a5ecf4125c2e.png

在分布式架构层,我们引入了支持HDD/SSD的混合存储方案,存储重心尽可能的依赖于HDD类型的共享存储服务,同时还优化了主从分片间的数据复制协议。这部分工作,不属于此文的内容范畴。

本文重点讨论的是存储引擎层的压缩编码优化工作,目的是为了降低单位Document的存储成本。在介绍这些优化之前,本文会先介绍一下Lucene的相关技术背景。

Lucene索引文件构成概述

这次分享的内容涉及到Lucene底层的文件格式的优化,因此,需要先简单介绍一下Lucene索引文件的构成:

8c0574a85b316aebb4cc397852682e85.png

ES的每一个索引的每一个分片中,都是一个独立的Lucene索引。每一个索引中,通常由1个或多个Segment构成,每个Segment包含了一系列文件,重点文件类型包含:

1. 行存文件(fdt)

用户写入的原始Document关联的JSON数据,都被存储于该文件中。

2. 列存文件(dvd)

列存文件常被应用于一些OLAP分析引擎中,业界应用广泛的列存文件包含ORC、Parquet等。

列存文件中按列组织数据,不同Document中的同一列/Field的数据,相邻存放在一起,这样可以加速基于该列的分析性查询。同时,每一个列的类型是确定的,在存储的时候可以进行针对性的编码优化。

Lucene中的列存文件采用了自定义的格式。

3. 索引相关文件

索引相关文件中,重点文件包含:

字典数据(tim):

从用户数据中提取的分词信息,被存储在tim文件中。同一列的分词信息,相邻存放在一起,有序,而且按块组织。

倒排索引(doc):

doc文件中记录了每一个分词关联了哪些文档列表,就是所谓的"倒排拉链表"。

大集群索引文件构成调研

f4fb23b55f301ca24c7c96ac9bf4f695.png

通过对一些大客户以及大集群场景的调研,我们发现, 行存文件、列存文件以及索引字典文件在存储空间上占了近80%的比重。这样,我们明确了压缩编码优化的重点工作就是针对这三类文件的优化。

当然,不同的业务集群会存在明显的出入,我们建议使用者要对自己集群中的索引文件构成做基础的调研,既有助于审视Mapping的设置是否合理,又能够明确知道哪些类型的文件存储占比最大,这样后续优化的时候才能做到有的放矢。

Lucene压缩编码能力现状

3f971cbbbad67fa3731acc845b403b95.png

在社区版本中,Elasticsearch/Lucene支持两种压缩策略选项:

    BEST_SPEED:底层基于LZ4压缩算法。压缩与解压速度快,CPU占用较低,但压缩效果弱。

    BEST_COMPRESSION:底层基于Deflate压缩算法。压缩与解压速度慢,CPU占用较高,压缩效果好。

在Lucene 8.7版本之前,这两种压缩策略,仅仅应用于行存文件。在很长的一段时间里,列存文件、索引字典文件里都仅仅采用了简单的编码优化,并未应用这些效果更好的压缩算法。从Lucene 8.7版本开始,社区已经开始陆陆续续做了一些优化,例如,将LZ4压缩局部应用于列存文件的Binary DocValue类型中,以及索引字典文件中。

关于基础压缩算法的拓展

142f79ff05b3325dcbfd1b7c099eae6b.png

我们在LZ4/Deflate压缩算法的基础上,新引入了Zstandard压缩算法。通过实际测试发现,Zstandard压缩算法兼顾了LZ4算法的"快"以及Deflate算法的"效果好"。接下来,我们从几种压缩算法的实现原理上,来探讨一下Zstandard压缩算法"既快效果又好"的底层逻辑。

压缩算法的工作原理,包含两个关键步骤:

1. "宏观层面"寻找重复的字符串

重复的字符串,可以使用一种更简短高效的表达方式来节省空间。关于字符串找重,业界常见压缩算法基本上都是基于LZ77算法实现的。

2. "微观层面"使用尽可能少的位来表达每一个字符

这里最常用的算法如Huffman编码。Huffman编码的核心思想:越高频的字符,使用越少的位数来表达。这样起到了数据压缩的效果。

LZ77算法

1f04b35b386931672b8ef3997a955631.png

上图中的红线,代表着当前压缩到的数据位置。从当前位置开始,每输入一个字符,就会回看之前已经压缩过的数据部分,看是否有已经出现过的字符串。可以回看多少数据,也就是上图中的滑动窗口大小,会显著的影响压缩速度以及压缩效果。一旦找到了一段匹配的字符串以后,就可以使用两个数字来替换表达该字符串:

Distance: 在什么位置找到了重复字符串

Length: 重复字符串的长度是多少

至于未重复的字符串,被称之为Literal。

不同的压缩算法,关于回看滑动窗口的大小,最小匹配字符串长度,以及{Literal, Distance, Length}这三类数据的编码机制上,都存在明显的区别。

LZ4算法

de72a100245e759d7b50f86f0938b3b9.png

LZ4压缩算法在LZ77算法基础上,做了巧妙的改动。LZ4中要求重复匹配的字符串最小长度为4,而且使用一个Hash表来存储已经出现过的数据的位置信息。当压缩到某一个字符位置时,从该位置连续读取4个Bytes,这样得到一个Int值,通过该Int值可以快速查看是否存在于Hash表中,这样可以加速找重的速度。如果在Hash表中存在,则代表着已经至少匹配到了4个Bytes,然后继续检查后面是否有更多的匹配字符。

LZ4压缩算法关于{Literal, Distance, Length}信息,几乎未做任何编码转换。这是LZ4算法快但效果不好的原因。

Deflate压缩算法

20f7f9ec2757b7995123cb7b5984fe21.png

Deflate中采用了更大的滑动窗口(32KB),而且定义最小的字符串匹配长度为3。

Deflate算法技巧性极高,核心设计概括如下:

1. {Literal, Distance, Length}采用了Huffman编码。Literal + Length数据采用一个Huffman-Tree, Distance单独使用一个Huffman-Tree。

2. Huffman-Tree编码基于Literal、Length、Distance的数据特点做了分区编码优化,依据: 越小的Length、Distance值,出现越高频。

3. Huffman编码的结果在存储的时候也做了优化:只要分配Codeword的方案是确定的,只需要按序记录每一个字符对应的Codeword Length即可,不需要记录原始Codeword信息。而且按序记录的Codeword Length信息,可以进一步采用RLE编码来节省存储空间。

该算法关于Huffman编码的应用可谓是登峰造极,因此,Deflate算法压缩可以取得很好的效果,但因为大量的"编码再编码"的转换,导致该算法并不够快,而且平均CPU占用率较之LZ4高出10~20个百分点。

Zstandard压缩算法

a6f10f0b620931668bb589a21a3da65a.png

ZStandard压缩算法基于LZ77的改进思路,与LZ4类似。核心依然是关于{Literal, Distance, Length}信息的编码采用了不同的实现思路:

1. 每一个压缩块中包含Literals Section与Sequences Section。

2. 一个Sequence由{LiteralLength, Offset, Match_Length} 构成。

3. Literals采用Huffman编码。

4. {LiteralLength, Offset, Match_Length}采用FSE编码。

Zstandard压缩算法的核心:FSE编码

FSE编码由Zstandard作者Yann Collet实现,基于Jarek Duda的ANS算法。FSE算法包含很多位操作技巧,与原始ANS论文中介绍的算法有一些出入。但我们可以通过ANS算法来粗略理解FSE编码的核心思想。

在介绍ANS算法之前,我们先来介绍压缩算法领域的另外一个经典算法Arithmetic Coding:

Arithmetic Coding设置了一个数字区间0~1,并且按照每一个字符的出现概率在该区间上为其分配一个子区间:

例如: 假设A的出现概率为0.25, B的出现概率为0.1, C的出现概率为0.2,…

每一个字符的子区间分配如下图所示(示例与图截取自Colt McAnlis & Aleks Haecky 《Understanding Compression》):

7fa06813a73c1314c0fa9b586788bbc6.png

当输入3个字符"AAA"的时候,编码过程如下图所示:

5257022a042eff402f10a9163d94678c.png

编码过程涉及到对整个区间的3次迭代切割过程,最终,"AAA"编码后得到一个区间值:[0, 0.015625) 

可见,Arithmetic Coding依赖于浮点数精度来体现编码结果。Arithmetic Coding的压缩效果非常优秀,但因为涉及到大量的浮点数运算,对CPU计算并不友好。

接下来,我们通过一个例子来理解ANS算法的设计思想(示例与部分图片截取自Colt McAnlis & Aleks Haecky 所著的《Understanding Compression》一书):

假设,某段数据中仅包含A, B, C三个字符,且出现的概率分别为:P([A, B, C]) = [0.45, 0.35, 0.2]。

ANS算法依据这三个字符的出现概率信息,生成一个宽度为31的Tranform Table。将A, B, C字符按照特定算法打散填充到Tranform Table中,每一个字符在该Transform Table中的出现频次与字符在原始数据中的出现概率有关。得到如下表格:

42e0fe9cac1e3acd32056dd0969aa575.png

以字符A为例:字符A离散分布于表格中,共出现了14次,在表格中的出现概率约为0.45(14/31~=0.45)。同Arithmetic Coding算法类似,Transform Table表格也与文本中的字符出现概率有关,但关于概率的表达方式却有明显不同。

将上述表格换一种呈现形式,得到下图:

c74838851330242d2ebb6231e10b6a34.png

站在字符A的角度来看,它将整个Transform Table划分成了14个区间,任何一个状态值,一定会落在这14个区间的其中一个区间中:

输入字符A时,假设此时的状态为State-X,如果State-X大于14,通过不断的右移位操作,一定可以得到一个小于等于14的值State-Y。

这样,State-X被表达成了两个部分:State-Y和右移位过程中溢出的Bits。State-Y可以理解为分区号,而State-Y与A列的交叉值,得到一个新的State-Z。分区号本身包含在Transform Table中, 不需要在输出信息中表达。这正是ANS数据压缩原理的奥秘所在。

下面介绍了先后输入两个字符"AB"之后的ANS编码与状态转换过程:

1. 输入字符"A",初始状态为31。将31右移位,直到得到一个小于等于14的值(因字符A总共出现了14次),得到7。

a4f228e14609a7c18164be2ec2b83cc0.png

第7行与A列的交集得到新的状态值16。

2. 输入字符"B",输入状态为16,而字符B总共在Transform Table中出现了10次,因此,将16右移位以后得到一个小于等于10的值,得到8。

a0c4d51fc46e94b6dc367ffcea194258.png

第8行与B列的交叉得到新的状态值22。

......

关于Zstandard压缩算法的简要总结:

1. 底层基于FSE编码,FSE是ANS算法的工程实现。
2. ANS算法使用"分区号+溢出位"来表达每一个状态值,因分区号信息本身维护在Tranform Table中,在编码过程中并不需要输出分区信息,这是Zstandard压缩算法"效果好"的原因。
3. 因编码过程大量依赖位移运算来完成状态的切换。这是Zstandard压缩算法"快"的原因。

将Zstandard压缩算法应用于行存文件压缩

行存文件内部是以Chunk形式组织的,Chunk Size通常为数十KB级别。

在Lucene 8.7版本之前, 采用LZ4压缩算法时设置的Chunk Size为16KB,而Deflate压缩算法设置的Chunk Size为60KB。

我们先将Zstandard压缩应用到了行存文件中,而且尝试了不同的Chunk Size后的效果,如下图所示:

e79f422ab1e7d60d8003d37e45b4fa73.png

可以看出来,Zstandard压缩算法在压缩率上与Deflate相当,而压缩速度甚至略优于LZ4。相较于LZ4,压缩效果有30%+提升。

值得一提的是,从Lucene 8.7版本开始,社区也针对LZ4与Deflate压缩算法做了优化,引入了Preset Dictionary特性,如下图所示:

b154c7b4424a7671ee6e88ef854ed097.png

Preset Dictionary特性引入了Chunk-Group概念,在一个Chunk-Group内部,第一个Chunk作为字典Chunk, 后面的Chunk基于第一个Chunk的字典数据进行压缩,解压的时候,也仅需要读取字典Chunk与对应的Chunk即可,无须解压Chunk-Group中的所有Chunk。

这里简单解释一下该特性的优化思想。

Chunk级别压缩存在两点局限性:

1. Chunk的开始位置,无法得到好的压缩效果。因为在回看的时候缺乏可参考的字典数据。

2. Chunk内部找重,只见树木不见森林,无法看到更大范围的重复数据。

因此,容易想到的一种简单的改善压缩效果的思路:增大Chunk Size,这样可以在一个更大的数据区间内共享字典数据。但增大Chunk Size会导致随机访问时延变大。

Preset Dictionary引入的Chunk-Group级别的压缩,可以说是一个很好的折中实现方案:既可以在Chunk-Group级别内共享字典数据,又可以有效避免随机访问时延明显增大。在我们的测试场景中,发现Preset Dictionary会有10%以上的压缩效果提升,实际改善效果与业务数据特点相关。

Zstandard压缩算法尚不支持Chunk-Group能力,但我们为Zstandard压缩提供了多种Chunk Size选项,在部分场景中,使用较大的Chunk Size,也能取得较好的改善效果(大多数场景下,使用默认的Chunk Size选项即可满足需求)。另外,Zstandard提供了预训练字典能力,预先训练好的字典数据可以在全局范围内共享,这比Preset Dictionary特性共享字典的区间范围更大,取得的压缩改善效果更佳。

对倒排索引字典文件的优化

索引字典文件中存储的分词数据,也是按块组织的,而且已事先做了排序,如下图所示:

533654e54e3adf062eac831ed8a46cc1.png

在Lucene 8.7版本之前,索引字典文件仅仅支持简单的前缀编码优化,压缩效果还有较大的改进空间。社区从Lucene 8.7版本开始,引入了LZ4压缩与LOWERCASE_ASCII编码。腾讯Elasticsearch在此基础上也扩展了关于Zstandard压缩算法的支持:

d9904cebee677dc165193af0a74e8446.png

从实际应用效果来看,Terms Dictionary(tim)文件占用空间下降40%+。

关于列存文件的几点优化

列存数据(DocValue)对于聚合分析类查询起到了很好的加速作用,这部分先简单介绍一下原有的列存文件组织结构,然后介绍了关于SortedSet以及Numeric两类DocValue的优化。

列存文件组织结构

22a240a55041f1a749d260b5a5770ff7.png

在列存文件中,不同的DocValue类型,拥有不同的内部结构定义,上图给出了SortedSet与SortedNumeric两种DocValue的内部结构定义。

SortedSet DocValue优化

通过对大集群的应用调研,发现大量使用了keyword类型。keyword类型默认开启了DocValue,底层对应着SortedSet DocValue类型。

我们先来看一下SortedSet DocValue的内部结构:

d71b305684db12be627af53ccc07d52e.png

SortedSet DocValue结构中重点需要理解的就是Ord Value与Terms Dictionary部分:

Terms Dictionary:该列所有Value的集合。
    Ord Value:  为每一个Value分配的一个数字编码。这样可以加速一些聚合分析类查询。

e94a764eabb08466ba08625b640dfed3.png

通过调研,我们发现应用中存在大量高基类型(High Cardinality)的keyword列,通过解析SortedSet DocValue内部的构成,Terms Dictionary部分占据了极高的比重。而Terms Dictionary数据在存储的时候,仅仅做了简单的前缀编码。

我们为SortedSet DocValue的Terms Dictionary提供了Chunk级别的压缩能力:

12171409a45a5c5fb81fd660888e8dc5.png

从实际应用效果来看,SortedSet DocValue的存储空间下降40%+:

1e121ba83242d9e53219de6c39aa0012.png

该特性已经贡献给了Apache Lucene社区(LUCENE-9663),并且成为Lucene 8.9版本的Highlight特性:

c1eaf37aec9d47cf29685e383285038a.png

Numeric DocValue优化

在时序数据场景中,存在大量的浮点数类型。Lucene的Numeric DocValue仅支持Long类型,因此,Elasticsearch将浮点数转换成了Long类型。

Numeric DocValue在存储Long类型时,采用了定长编码的思路:依据数据集合的分布区间来决定采用多少位来表达每一个数值。

Elasticsearch将浮点数转换成Long类型的方法,依据了IEEE-754标准。这种转换存在一种显著的问题,如下表所示:  

浮点数   

 32-bits表达值 

31.245 

 01000001111110011111010111000011  

31.875

 01000001111111110000000000000000  

数值上相近的两个浮点数31.245与31.875,基于IEEE-754标准转换以后得到的二进制位,可能存在较大的差异。

Lucene采用了64位的Long值来表达每一个浮点数,当列的基值较大时,转换出来的Long值区间极为发散。这导致Lucene底层在做定长编码时,只能使用64-Bits来表达每一个Long值:

dc53ac9c8a3a1172fb5cff82127e5385.png

关于浮点数的优化,业界应用较为广泛的便是Facebook Gorilla论文中提及的XOR算法:

e03f5af2fb86d741be82a0b2317787a2.png

该算法假定同一时间线中的相邻值变化不大,因此可以通过XOR算法寻找出变化的二进制位。

通过实际测试,我们发现XOR算法的效果并不佳,主要原因:Elasticsearch并不支持时间序列的数据组织方式,或者说,数据可能是杂乱无序的。

在对一些大集群做详细调研的时候,我们通过解析Numeric DocValue的内部构成,发现在很多场景中,0值占据了较高的比重。基于定长编码的思路,0值也需要使用固定的位数来表达(通常会占用64位)。

从业务侧来看,某一个指标大部分时间段的值都为0值,这是正常现象。从另外一个角度来看,0值是一个非常重要的默认值。

一个简单的思路就是在写入的时候,直接将0值抛弃,但0值与NULL值往往代表着不同的业务含义,例如,NULL值可能意味着这次没有采集到指标,但并不代表指标值为0。因此,在底层考虑对0值存储优化的时候,既要业务无感知,又不能带给业务侧任何歧义。

Numeric DocValue包含Dense模式与Sparse模式:

    Dense模式:Segment中每一个Document都拥有该Field的值
    Sparse模式:Segment中只有部分Document拥有该Field的值

因此,在优化的时候,需要考虑对这两条路径的支持。这里仅以Sparse模式为例来简单介绍方案优化思路:

优化之前,Numeric DocValue中使用了一个Bitmap来描述哪些Document拥有该Field的值。优化之后,使用了两个Bitmap来表达0值相关的Documents以及非0值相关的Documents,这样,Values部分仅仅存储非0值即可:

6924db9f887df9e4961c2770b796881e.png

在读取的时候,如果一个Doc ID出现在0值相关的Bitmap中,则在返回列值的时候会自动填充0值,如果出现在非0值的Bitmap中,则依据该Doc ID在非0值Bitmap中的位置来对应读取Values中的值。读取场景需要考虑关于随机读取与顺序读取的支持。

如果某一个特殊场景中存在一个高频出现的其它值,也可以基于该方案思路进行优化。

该方案的优化效果与0值占比有密切关联。下图选取了一个0值占比超过96%的场景,Numeric DocValue存储空间下降90%+:

58bf652acf3c4d1a3e5c74024c0e205f.png

为各种压缩新特性提供细粒度配置开关

压缩可以使得存储空间下降,但会带来额外的性能开销。因此,我们允许每一个压缩特性都可以通过配置开关来控制,这样,业务应用方可以按照子的负载/数据访问特点以及成本控制需求,来灵活选用不同的压缩策略:

5b9b04fe41bc817ad0b63b9d9bcf81e6.png

后续优化方向建议

1. 深入理解日志数据特点的字典编码压缩策略

在通用压缩算法上,已经很难取得明显的突破。Elasticsearch中存放的日志数据,都以JSON结构来表达,如果能在更大的范围内共享字典数据的话,将会是一个很好的优化方向。

2. 智能压缩策略

我们已经提供了针对各类文件格式的优化特性,但在实际应用中,需要结合用户的数据特点以及负载特点,智能化的给出最佳的压缩策略。

3. 关于pos文件的优化

个别用户场景中,存在pos文件过大的问题,社区方案存在较大的优化空间,感兴趣的同学可以在这个方向上探索一下。

本文内容总结

关于本文内容的简要总结:

1. 从索引文件构成调研,明确了重点优化方向(行存文件/列存文件/索引字典文件)。

2. 介绍了社区Lucene的压缩编码支持能力现状。

3. 引入了Zstandard作为Lucene的基础压缩算法。并且从压缩算法原理的角度出发,解释了Zstandard"既快又好"的原因。

4. 针对行存、列存、索引字典文件的详细优化思路。

5. 针对不同的业务特点,提供了细粒度的配置参数。

6. 给出了未来可能的几点优化方向建议。

索引数据压缩及查询优化——Lucene索引原理与性能调优 作者:禅与计算机程序设计艺术 1.简介 Lucene 是 Apache 基金会的一个开源项目,是 Java 中一个用于全文搜索引擎开发的框架。它是一个高效、高质量的全文检索库,能够快速地处理海量的数据,并生成有价值的信息。lucene具有以下优点: 高度可定制性:允许用户自定义 阅读详情

相关推荐

Lucene 存储字段的优化与自定义序列化方式在大数据上的应用

然而,在特定的应用场景下,我们可能需要根据具体需求选择其他存储类型,例如 “Memory” 存储类型用于将字段数据存储在内存中,以提高读取速度。通过选择合适的存储类型和自定义序列化方式,可以优化存储和检索性能,提高大数据处理的效率。通过选择合适的存储类型,可以优化存储结构,提高存储和检索性能。此外,在自定义序列化方式时,可以根据业务需求对字段进行适当的压缩和编码,以减少存储空间并提高检索性能。通过自定义序列化方式,可以将自定义数据类型转换为 Lucene 可识别的格式,并实现高效的存储和检索。

2301_79367634的博客 202

2021 MIT 6.824 Lab2D Raft算法(四):日志压缩(log compaction)【完】

0 前言 经过前面三个lab我们实现了raft算法的选举(leader election)、日志复制(log replication)与持久化(persist)的功能,在最后一个lab将实现日志压缩(log compaction)。日志压缩的诞生出于这样的考虑:在我们前面所有的代码中,日志均存在内存里,然而如果一台服务器是24×\times× 7地工作,某些时刻日志将会把内存撑爆,而且日志很多的话,持久化的时候也需要很多的IO操作时间,所以要引入日志压缩技术让服务器丢弃一些日志节省内存。所以使用什么技术丢弃

梁熙民的csdn博客 2588

Unity序列帧动画输出全攻略:Recorder+Timeline实战与透明通道处理

序列帧动画是游戏开发、影视动画和UI动效中的基础技术,指将连续动作分解为一系列静态图像并按序播放,形成动态视觉效果。其原理是通过时间轴精确控制每一帧的内容与时机,实现动画的逐帧呈现。在实时渲染领域,序列帧输出技术价值显著,它能够将动态内容高质量地转换为静态图像序列,便于跨平台复用、后期合成与资源分发。应用场景广泛,包括角色动画导出、技能特效制作、宣传片素材生成等。本文聚焦Unity引擎,深入解析如何利用Recorder与Timeline工具链,高效输出带Alpha透明通道的PNG序列帧,并重点攻克透明通道处

weixin_31556767的博客 329

elasticsearch存储数据压缩

elk是流行的日志监控分析平台,但es占用存储空间过大,下面介绍几种压缩方案。压缩算法将LZ4改为Deflate,空间占用量可以下降10%。Elasticsearch统计的索引大小是整个索引所占空间空间的大小,整个索引包括很多文件,比如tim词典,tip词典索引,pos位置信息,fdt存储字段信息(_source实际存储的文件),等等。Elasticsearch中"codec": “best_compression” (也就是DEFLATE和LZ4压缩算法),是对fdt这个文件进行压缩。

weixin_40757126的博客 2802

AVM环视算法实战:从3D碗型投影到多场景模式切换的实现与优化

本文深入探讨了AVM环视算法在3D碗型投影和多场景模式切换中的实现与优化。通过分析3D碗型投影的核心原理和动态视角调节技术,展示了如何实现从超广角模式到转向模式的无缝切换。文章还分享了性能优化实战经验,包括实时性提升和图像拼接质量优化,为开发者提供了宝贵的AVM系统开发指南。

weixin_42573113的博客 171

数字太大放不下,高精度来补,如何放下超大数字,以及进制转换,高精度真的超好玩。 洛谷1009,1015

想必大家都遇到过数字大小超过int类型范围的情况,是不是碰到int放不下的数字自然就会想到,long int,long long int,甚至unsigned long long int呢。但是有一些出题者就很可恶,偏要出一些连unsigned long long int也放不下的算法题,应对这些问题时,我们是否有相应的应对方法呢?答案是:当然有,高精度就是一种应对这种问题时很好的解决办法。相信你在看完这篇文章后能对高精度有着更深更好的理解。我会循序渐进的来讲,这样大家也更容易听懂。

2303_79329831的博客 1230

压缩级别_日志通用压缩算法的对比研究

之前的文章介绍日志领域的研究方向时,曾经提到有些研究关注在日志的压缩方面,毕竟日志实在量太大了!日志易一个规模还可以的股份制银行客户,按照法律要求的存储时长计算磁盘大小,对应的硬件成本就是几千万。但是这些研究大多有一个问题,那就是它们只考虑如何把日志的存储空间压缩到最小,却并不怎么考虑同时如何继续支撑已有的各种日志管理软件的读写方式——通常来说它们的做法都是自己设计一个索引或者模板提取方式,然后把...

weixin_36242131的博客 1104

保姆级教程:用Wireshark抓包分析10M汽车以太网PLCA轮询机制(附pcap文件)

本文详细介绍了10M汽车以太网PLCA轮询机制的抓包分析与性能优化方法。通过Wireshark实战教程,解析PLCA协议的时分多址特性、总线型拓扑结构及带宽优化策略,帮助工程师提升车内网络的可靠性和实时性。附赠pcap文件供实践参考。

wdx01234567的博客 240

数据压缩(3)——统计编码

VLC编码需要数据集中符号概率分布与对应的VLC算法匹配,这限制了其应用范围。而统计编码可以根据数据集符号的概率分布构建出相适应的码字表,尽管在特定数据集上比VLC编码的压缩效果差。哈夫曼编码在分配码字时巧妙利用了二叉树路径唯一的特点,给每个字符分配带有前缀性质的码字。解码就是编码的逆过程:0.83先在[0.4,0.9),第一个字符为G,又在[0.6,0.85),第二个字符为G,最后在[0.825,0.85),第三个字符为B,合起来为GGB。

enternalstar的博客 2276

YOLOv5 自定义模型 Android 部署完整指南

本文详细介绍了将YOLOv5模型部署到Android设备的完整流程,包含三个核心部分:首先验证官方模型测试,确保基础环境配置正确;随后进行模型转换,从PyTorch导出ONNX格式并优化,再转换为NCNN格式;最后在Android项目中集成自定义模型,包括文件替换、参数修改和代码适配。教程基于YOLOv5 6.1版本,使用NCNN框架进行移动端推理,涵盖了常见问题解决方案和关键配置要点,为开发者提供了从训练到部署的完整技术路线。

FJN110的博客 592

数据分享|2000-2021年全国各城市风速数据(逐日、逐月、逐年)

而后,将每日的csv文件进行展点,再投影,采用反距离权重法对每日的数据进行插值。:美国国家海洋和大气管理局(NOAA)下设的国家环境信息中心(NCEI),网址为:https://www.ncei.noaa.gov/data/global-summary-of-the-day/archive/该数据是通过风速平均值插值得来,由于插值的方式与各种处理参数的不同,会导致该数据与其它风速数据不同,数据仅供个人学习使用哦。如果在论文中使用该数据,数据来源请写上面的原始数据来源,处理方法请写上面的处理方式!

J_Giser的博客 1781

【ES实战】磁盘存储优化

节约ES服务的存储

有问题的请私信或关注v【技术印记】留言 1466

16、Cortex-M7处理器:高性能与复杂架构解析

本文深入解析了Cortex-M7处理器的高性能架构与复杂设计,涵盖AHB总线矩阵优化、超标量六阶段双发射流水线、增强型分支预测单元及双精度浮点支持。重点介绍了其独特的内存层次结构,包括指令与数据TCM、片上缓存和AXI-M 64位总线接口,提升系统并行性与执行效率。通过实际测试对比M4与M7性能差异,并演示如何将代码与数据定位到TCM以实现零等待运行。同时阐述了缓存机制的工作原理及其对系统性能的影响,为开发者提供全面的性能优化指导。

a1b2c3d的博客 128

ES压缩算法测试

LZ4 具有更快的压缩与解压速度,而 Deflate 在压缩率上更占优势。两者在性能与压缩率上存在明显的差异,基于现有的压缩算法,用户不能很好的兼容压缩比和性能,Lucene 默认的压缩算法是 LZ4。LZ4与Deflate算法压缩率对比(来源腾讯云/阿里云)压缩算法加载时间(1 Shard)加载时间(5 Shards)Fields(*fdt)文件大小索引总大小写入TPS(doc/s)Deflate对比LZ4写入性能下降10%,压缩率提升20% 公司对手数据分别写入5.6.16和7.10.1两个es版本 >

没有简介 3367

手把手教你学simulink--永磁同步电机场景实例:使用Simulink进行PMSM的矢量控制仿真

矢量控制的重要性提高效率:通过精确控制磁场方向,可以优化电机的工作状态,减少损耗。增强动态性能:矢量控制能够快速响应负载变化,提供更好的调速性能。简化设计:将复杂的交流电机控制问题转化为类似直流电机的控制问题,便于设计和实现。通过上述步骤,我们简要介绍了如何基于Simulink实现PMSM的矢量控制仿真。

MHD0815的博客 422

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

ES日志存储以及备份压缩到COS

为了满足用户日益增长的日志存储大小,不影响用户的写入和查询性能。满足不同用户写入流量。同时用户日志长期保存,日志存储比较占用空间和成本。ES集群规格配置高,消耗资源和成本。我们基于Go语言设计了一个多用户多ES集群,日志备份到cos节省成本的方案。本篇实践基于Go语言编程。

云存储小天使的博客 3244

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

JAVA面试小结三十七:es压缩算法详解

首先回答前两个问题:数组肯定可以压缩,而且正是我们需要去做的;用FOR算法在这里进行压缩是可以的,不算错,但是我们说不合适,正如在FOR算法中介绍的那样,压缩的同时我们还有考虑解码时的效率,其实这里已经经过除法做了一次处理了,那么再用减法做一次处理,再解码时效率会降低不少,所以我们追求的是一种解码更加容器,但又能具备压缩能力的方法。但数值大小很大时,减法能够达到的效果是不明显的,比如100W,200W,300W,相减后是100W,100W,100W,依然很大,这时的压缩效果很不理想,所以引入了RBM算法。

之乎者也·的博客 551

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

6.1.6 日志压缩

不管是传统的RDBMS还是分布式的NoSQL,存储在数据库中的数据总会更新。更新数据有两种方式:直接更新(找到数据库中的已有位置,以最新的值替换旧的值)、以追加方式更新(保留旧值,查询时再合并;或者会有一个后台线程,对相同键的所有记录进行定期合并操作)。第二种做法因为在写操作时不需要查询,所以写性能会很高。如表6-3所示,很多分布式存储系统都采用这种追加方式。这种方式的缺点是:需要通过后台的压缩操作保证相同键的多条记录,经过合并后只保留最新的一条记录。 如图6-35所示,Kafka的消息由键值组成,在.

water Wang 4329

Elasticsearch大数据查询优化(RequestOptions gzip压缩)

有时候我们在ES的查询的数据量比较大(字段较多&数据量比较大)。怎样去优化一个查询速度。采用Java es client开启数据gzip压缩

不吃肥肉的傲寒 1170

Kafka日志压缩剖析

Kafka的日志压缩原理并不复杂,就是定时把所有的日志读取两遍,写一遍,而CPU的速度超过磁盘完全不是问题,只要日志的量对应的读取两遍和写入一遍的时间在可接受的范围内,那么它的性能就是可以接受的。

csdn_manong1的博客 545

mysql 日志_MySQL 压缩二进制日志

原文:https://mysql.wisborg.dk/2020/05/07/mysql-compressed-binary-logs/作者:Jesper Krogh译者:孟维克配置限制监控不同负载示例举例-压缩级别总结在繁忙的服务器上,二进制日志最终可能成为磁盘空间使用量最大的来源之一。这意味着更高的I/O,更大的备份(您备份了您的二进制日志,是吗?),从节点获取日志时可能会有更多的网...

weixin_39715652的博客 387

Hello Kafka(三)——Kafka核心技术

一、生产者压缩算法 1、Kafka消息压缩 压缩(compression)是用时间换空间的经典trade-off思想,使用CPU时间换磁盘空间或网络I/O传输量,以较小的CPU开销带来更少的磁盘占用或更少的网络I/O传输。 Kafka有两类消息格式,V1版本和V2版本,V2 版本在Kafka 0.11.0.0中正式引入。 Kafka的消息层次都分为两层:消息集合(message set)以及消息(message)。消息集合中包含若干条日志项(record item),而日志项才是真正封装消息数据的实

天山老妖 1336

【亲测免费】 新一代熵编码库:Finite State Entropy与Huff0深度探索

**Finite State Entropy** 是一个由Cyan4973维护的开源项目,它主要提供了两种高效熵编码器:Huff0和FSE。此项目专为追求速度与压缩效率的应用设计,并且完全采用 **C** 语言编写,确保了高度的性能与跨平台兼容性。 ## 核心功能 ### Huff0 - **超高速Huffman编码**: 设计针对现代CPU,利用多ALU的乱序(Out-of-Order)操作...

gitblog_01199的博客 1100

使用boost库对按天存放的日志文件进行压缩备份

项目中每天都会生成日志文件,日志主要有log4cpp生成,每天生成一个以日期命名的文件夹,磁盘占用空间较大。故对日志进行压缩操作。压缩后的日志按照月为目录,最每天的日志文件夹压缩成一个zip包存放。 封装中用到的库: 1.ZIP开源库 连接地址:https://download.youkuaiyun.com/download/zhengleiaixirui/11161636 2.BOOST库 请...

牛奶味的浏览 1274

kafka | 生产者压缩算法面面观

今天我要和你分享的内容是:生产者压缩算法面面观。说起压缩(compression),我相信你一定不会感到陌生。它秉承了用时间去换空间的经典 trade-off 思想,具体...

sinat_27143551的博客 454

JVM--Java虚拟机常见知识点

虚拟机 谈一谈JVM的GC,包括几个垃圾回收算法 GC常用算法: GC算法–引用计数法: 给每个对象分配一个计数器,引用一次就+1,当有对象没被引用时,就会被回收 GC算法–复制算法: 复制算法:可以把to区里面的内容复制到from区中 他将可用内存按容量划分为大小相等的两块,每次只使用其中一块。当这一块的内存用完了,就将还存活着的对象复制到另外一块上面,然后再把已使用过的内存空间一次清理掉。这样使得每次都是对整个半区进行内存回收,内存分配时也就不用考虑内存碎片等复杂情况,只要移动堆顶指针,按顺序分

weixin_42259841的博客 2880
上一篇: 大数据云原生能力成熟度模型,重磅发布!
下一篇: E往无前 | 海量数据ES 扩展难?腾讯云大数据ES 扩展百万级分片也“So Easy~”
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值