LZ4压缩算法实现思路详解

最新推荐文章于 2025-01-20 09:20:05 发布
最新推荐文章于 2025-01-20 09:20:05 发布
阅读量1.2w 收藏 35
点赞数 2
分类专栏： 辅助手段 文章标签： 压缩算法 流式压缩 LZ4算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yuaipjr/article/details/81710201
版权
本文详细介绍了LZ4压缩算法的实现思路，特别是流式压缩的处理方式。通过解析LZ4的序列和块格式，阐述了压缩与解压缩过程中的关键步骤，包括字面序列、匹配序列的处理，以及RingBuffer和字典的使用。此外，文章还探讨了在压缩过程中如何利用Hash表快速查找匹配位置，以及压缩算法的注意事项和兼容性约定。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近遇到一个需求，需要使用LZ4的流式压缩来减少流量开销。笔者也是第一次接触LZ4算法，但速度之王的名声早已如雷贯耳。需求本身要求我使用go语言来编写一套LZ4压缩工具库，因为github上的go语言版本是残废的(它不支持流式压缩)，而CGO又会带来很多额外的开销(C栈和go栈的内存分布差距很大，有着很大的上下文切换开销)，于是我受命编写纯go版本的LZ4压缩工具库。

压缩的通用原理就是，假如当前位置的一个字符串序列，在以前的历史数据中也出现过，那么现在用一种特殊的格式或者特殊的小序列来表示它，就可以起到压缩的效果，因为特殊格式或者特殊小序列通常都是比原本的字符串序列更小的。

先把LZ4的压缩实现抛在一边，LZ4是一种压缩算法，它的实现可以变幻莫测，只要可以生成合乎规范的压缩数据即可。LZ4算法最重要，也是最容易出错的地方，也就是它的格式了。下面，先来看一下LZ4的格式:

 

Sequence:它是LZ4最小的数据单元，格式如下:

Token(1字节)

 

字面序列长度(0~n字节)

 

字面序列序列

 

Offset

(2字节)

 
最低0.47元/天 解锁文章
量化新手初识LZ4压缩算法
漫步量化
10-22 818
理解LZ4的要点 加重压缩解压速度，压缩比不是第一 应用 安卓操作系统中内存压缩技术,及时压缩手机内存，以时间换空间 DolphinDB Github 压缩原理 输入：abcde_bcdefgh_abcdefghxxxxxxx 输出：abcde_(5,4)fgh_(14,5)fghxxxxxxx 其中两个括号内的便代表的是压缩时检测到的重复项，(5,4) 代表向前5个byte...
ElasticSearch中压缩算法LZ4的使用
qq_29579431的博客
01-21 3685
简介 lz4是目前效率最高的压缩算法，更加侧重压缩解压速度，而不是压缩比。LZ4是ElasticSearch数据存储的默认编码（压缩）方式，通过index.codec来设置。 压缩原理 lz4压缩算法原理比较简单，如下面例子： 输入：abcde_bcdefgh_abcdefghxxxxxxx 输出：abcde_(5,4)fgh_(14,5)fghxxxxxxx 其中两个括号内的便代表的是压缩时检测到的重复项，(5,4) 代表向前5个byte，匹配到的内容长度有4，即"bcde"是一个重复。当然也可以说"c
lz4压缩算法源码
01-21
lz4压缩算法源码 LZ4 is a lossless data compression algorithm that is focused on compression and decompression speed
LZ4 Java 常见问题解决方案
最新发布
gitblog_00422的博客
01-20 452
LZ4 Java 常见问题解决方案 lz4-java LZ4 compression for Java 项目地址: https://gitcode.com/gh_mirrors/lz/lz4-java ...
压缩算法LZ4
qq_16106195的博客
07-01 2759
LZ4 是无损压缩算法，提供每个核 大于 500 MB/s 的压缩速度，可通过多核 CPU 进行扩展。LZ4算法解压速度极快，单核解压速度达到GB/s，通常达到多核系统的 RAM 速度限制。
Lz4压缩算法学习
热门推荐
MarkusZhang的博客
06-05 2万+
lz4是目前基于综合来看效率最高的压缩算法，更加侧重于压缩解压缩速度，压缩比并不突出，本质上就是时间换空间。对于github上给出的lz4性能介绍：每核压缩速度大于500MB/s，多核CPU可叠加；它所提供的解码器也是极其快速的，每核可达GB/s量级。...
lz4压缩算法--速度之王
一缕阳光的博客
05-21 8019
简介 lz4是目前综合来看效率最高的压缩算法，更加侧重压缩解压速度，压缩比并不是第一。在当前的安卓和苹果操作系统中，内存压缩技术就使用的是lz4算法，及时压缩手机内存以带来更多的内存空间。本质上是时间换空间。 压缩原理 lz4压缩算法其实很简单，举个压缩的栗子 输入：abcde_bcdefgh_abcdefghxxxxxxx 输出：abcde_(5,4)fgh_(14,5)fghxxxxxxx 其中两个括号内的便代表的是压缩时检测到的重复项，(5,4) 代表向前5个byte，匹配到的内容长度有
LZ4压缩算法分析
weixin_34266504的博客
11-23 1294
2019独角兽企业重金招聘Python工程师标准>>> ...
lz.rar_LZ_LZ77_lz.c_lz77.c_压缩算法
09-19
《LZ77压缩算法详解及其C语言实现》 在信息技术领域，数据压缩技术起着至关重要的作用，它能够有效地减少存储空间，提高传输效率。其中，LZ77（Lempel-Ziv-77）算法是最早、最基础的无损数据压缩算法之一，对后续的...
LZ77压缩算法详解与应用
"本文介绍了LZ77压缩算法，一种无损压缩方法，它利用滑动窗口作为术语字典来查找重复字符串，从而实现数据压缩。LZ77算法的思路源于字典模型，打破了以往单纯依赖字符频率统计的压缩模式。文章提到了该算法在众多...
速度之王 — LZ4压缩算法（二）
weixin_30662539的博客
12-19 1294
LZ4(Extremely Fast Compression algorithm) 项目：http://code.google.com/p/lz4/ 作者：Yann Collet 本文作者：zhangskd @ csdn blog LZ4格式 The compressed block is composed of sequences. 每个数据块可以压缩成若干个序...
LZ4压缩算法集合包
06-25
项目中用到的LZ4资源，集合成了一个压缩包，包含开发jar包，源文件，文档，测试代码
lz4：极快压缩算法
02-04
LZ4-极快的压缩 LZ4是无损压缩算法，提供每核心大于500 MB / s的压缩速度，可通过多核CPU进行扩展。 它具有极快的解码器，每个内核的速度为多个GB / s，通常在多内核系统上达到RAM速度限制。 速度可以动态调整，选择一个“加速”因数，以权衡压缩比以获得更快的速度。 另一方面，还提供了高压缩导数LZ4_HC，以CPU时间为代价来提高压缩率。 所有版本均具有相同的减压速度。 LZ4还与和级别的兼容。 尽管仅使用最后的64KB，但它可以将任何输入文件作为字典接收。 该功能可以与结合使用，以大大提高小文件的压缩性能。 LZ4库作为使用BSD 2条款许可证的开源软件提供。 科 状
各种压缩算法C++实现
01-18
哈夫曼编码，自适应哈夫曼编码；字典LZW编码；算术编码，输出每个字符的编码，整个字符串的编码以及压缩率
C实现ZIP压缩算法
08-02
用C语言实现ZIP压缩算法，包含其他一些压缩算法
java算法，实现压缩及解压缩
04-18
Java实现压缩与解压缩ZIP 　　import java.io.BufferedInputStream; 　　import java.io.BufferedOutputStream; 　　import java.io.File; 　　import java.io.FileInputStream; 　　import java.io.FileOutputStream; 　　import java.util.zip.ZipEntry; 　　import java.util.zip.ZipOutputStream; 　　public class Zip { 　　static final int BUFFER = 2048; 　　public static void main(String argv[]) { 　　try { 　　BufferedInputStream origin = null; 　　FileOutputStream dest = new FileOutputStream("E:\\test\\myfiles.zip"); 　　ZipOutputStream out = new ZipOutputStream(new BufferedOutputStream( 　　dest)); 　　byte data[] = new byte[BUFFER]; 　　File f = new File("e:\\test\\a\\"); 　　File files[] = f.listFiles(); 　　for (int i = 0; i < files.length; i++) { 　　FileInputStream fi = new FileInputStream(files[i]); 　　origin = new BufferedInputStream(fi, BUFFER); 　　ZipEntry entry = new ZipEntry(files[i].getName()); 　　out.putNextEntry(entry); 　　int count; 　　while ((count = origin.read(data, 0, BUFFER)) != -1) { 　　out.write(data, 0, count); 　　} 　　origin.close(); 　　} 　　out.close(); 　　} catch (Exception e) { 　　e.printStackTrace(); 　　} 　　} 　　} 　　解压缩的 　　import java.io.BufferedInputStream; 　　import java.io.BufferedOutputStream; 　　import java.io.File; 　　import java.io.FileOutputStream; 　　import java.util.Enumeration; 　　import java.util.zip.ZipEntry; 　　import java.util.zip.ZipFile; 　　public class UnZip { 　　static final int BUFFER = 2048; 　　public static void main(String argv[]) { 　　try { 　　String fileName = "E:\\test\\myfiles.zip"; 　　String filePath = "E:\\test\\"; 　　ZipFile zipFile = new ZipFile(fileName); 　　Enumeration emu = zipFile.entries(); 　　int i=0; 　　while(emu.hasMoreElements()){ 　　ZipEntry entry = (ZipEntry)emu.nextElement(); 　　//会把目录作为一个file读出一次，所以只建立目录就可以，之下的文件还会被迭代到。 　　if (entry.isDirectory()) 　　{ 　　new File(filePath + entry.getName()).mkdirs(); 　　continue; 　　} 　　BufferedInputStream bis = new BufferedInputStream(zipFile.getInputStream(entry)); 　　File file = new File(filePath + entry.getName()); 　　//加入这个的原因是zipfile读取文件是随机读取的，这就造成可能先读取一个文件 　　//而这个文件所在的目录还没有出现过，所以要建出目录来。 　　File parent = file.getParentFile(); 　　if(parent != null && (!parent.exists())){ 　　parent.mkdirs(); 　　} 　　FileOutputStream fos = new FileOutputStream(file); 　　BufferedOutputStream bos = new BufferedOutputStream(fos,BUFFER); 　　int count; 　　byte data[] = new byte[BUFFER]; 　　while ((count = bis.read(data, 0, BUFFER)) != -1) 　　{ 　　bos.write(data, 0, count); 　　} 　　bos.flush(); 　　bos.close(); 　　bis.close(); 　　} 　　zipFile.close(); 　　} catch (Exception e) { 　　e.printStackTrace(); 　　} 　　} 　　}
LZ4压缩算法简介
rayylee
08-18 6558
lz77编码思想：它是一种基于字典的算法，它将长字符串（也可以称为匹配项或者短语）编码成短小的标记，用小标记代替字典中的短语，也就是说，它通过用小的标记来代替数据中多次重复出现的长字符串来达到数据压缩的目的。其处理的符号不一定是文本字符，也可以是其他任意大小的符号。............
LZ4 内存压缩算法分析
weixin_42136255的博客
03-28 4047
LZ4 内存压缩算法分析
lz4压缩算法
xihuanzhi1854的博客
11-28 3641
简介 lz4是目前综合来看效率最高的压缩算法，更加侧重压缩解压速度，压缩比并不是第一。在当前的安卓和苹果操作系统中，内存压缩技术就使用的是lz4算法，及时压缩手机内存以带来更多的内存空间。本质上是时间换空间。 压缩原理 lz4压缩算法其实很简单，举个压缩的栗子 输入：abcde_bcdefgh_abcdefghxxxxxxx 输出：abcde_(5,4)fgh_(14,5)fghxxxxxxx ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值