Facebook 开源 Zstandard 算法及 MyRocks 存储引擎

最新推荐文章于 2025-03-22 19:35:13 发布
最新推荐文章于 2025-03-22 19:35:13 发布
阅读量239 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：https://yq.aliyun.com/articles/115982
Facebook宣布开源Zstandard压缩算法及MyRocks存储引擎，前者旨在替代老旧的Deflate压缩技术，后者用于提高MySQL数据库存储效率。Facebook期望这些项目能够成为业界新标准。

今天，Facebook 宣布其开源了自家的 Zstandard 压缩算法。这个无损的压缩技术致力于取代已存在的诸如 zlib 这种依赖过时的技术 Deflate compression algorithm 的库。除了 Zstandard 压缩算法，Facebook 把 MyRocks 存储引擎也开源了，MyRocks 现在被 Facebook 用于提升自家 MySQL 数据库的存储效率。

Facebook 希望他们的开源解决方案能成为新的行业标准。

文章转载自 开源中国社区[http://www.oschina.net]

利用 Zstandard (zstd) 高效压缩数据
小灰灰的博客
05-04 2564
Zstandard 是由 Facebook 发布的压缩算法，目标是提供与传统 zlib 相当的压缩比，同时大幅提高压缩和解压缩的速度。它非常适合用于实时数据传输环境和大数据存储场景。Zstandard 是一个强大的压缩工具，能够帮助用户和开发者高效地处理数据。无论是速度、压缩比还是灵活性，zstd 都提供了卓越的性能。通过命令行或集成到您的程序中，zstd 都能轻松胜任压缩任务，优化您的数据处理流程。
MySQL与NoSQL的桥梁：MyRocks引擎的深度解析
java专栏
07-01 1980
🔥关注墨瑾轩，带你探索编程的奥秘！🚀🔥超萌技术攻略，轻松晋级编程高手🚀🔥技术宝库已备好，就等你来挖掘🚀🔥订阅墨瑾轩，智趣学习不孤单🚀🔥即刻启航，编程之旅更有趣🚀嘿，亲爱的数据库探险家们，欢迎来到我们的奇妙世界，今天我们要聊的是一个超级酷炫的技术话题——引擎。想象一下，MySQL与NoSQL之间架起了一座桥梁，让两者之间的转换变得如同呼吸般自然。而这座桥，就是由Facebook贡献给社区的MyRocks引擎。它不仅让MySQL拥有了NoSQL般的性能，还保持了关系型数据库的ACID特性。
Zstandard压缩算法
u012538947的专栏
01-10 748
Zstandard（缩写为zstd）是一种开源的无损数据压缩算法，主要设计目标是提供高比率的压缩和快速的解压缩速度。它由Yann Collet开发，并于2015年首次发布。
Zstandard:Zstandard-快速实时压缩算法-开源
04-26
Zstandard是一种快速压缩算法，可提供高压缩率。 它还为小数据提供了一种特殊的模式，称为字典压缩。 该参考库提供了范围广泛的速度/压缩权衡，并由一个极快的解码器提供支持（请参阅下面的基准）。 Zstandard库使用BSD许可证作为开源软件提供。 它的格式稳定，并发布为IETF RFC8478。用--fast =＃指定的负压缩级别提供了更快的压缩和解压缩速度，以换取与1级相比压缩率的一些损失，如上表所示。 Zstd可以权衡压缩速度以获得更强的压缩比。 可以以较小的增量进行配置。 解压缩速度得以保留，并且在所有设置下大致保持相同，这是大多数LZ压缩算法（例如zlib或lzma）共享的属性。
MyRocks: 为facebool 的社交图谱服务的LSM-tree存储引擎
天行健，地势坤
06-27 1291
原来 LSM-tree 存储引擎 可以很强
Zstd(Zstandard)压缩算法
最新发布
wniuniu_的博客
03-22 485
为了解决这种情况，Zstd 提供了一种训练模式，可用于针对所选类型的数据调整算法。训练 Zstandard 是通过为其提供几个样本（每个样本一个文件）来实现的。此训练的结果存储在一个名为 “dictionary” 的文件中，该文件必须在压缩和解压缩之前加载。使用此字典，可在小数据上实现的压缩率显著提高。要压缩的数据量越小，压缩的难度就越大。这个问题对所有压缩算法都是通用的，原因是压缩算法从过去的数据中学习如何压缩未来的数据。但是，在新数据集开始时，没有“过去”可以构建。
Facebook开源的时序数据库存储引擎Beringei.zip
07-19
Beringei 是一个高性能的、内存型的时序数据库存储引擎。时间序列通常用作统计，仪表和计数器的表示，用于监视系统的性能和运行状况。Beringei 有以下特性：支持非常快的内存存储，由磁盘支持持久化非常高效的流压缩...
Zstandard算法：快速压缩与高效解压的开源利器
资源摘要信息:"Zstandard是一种开源的快速实时压缩算法，具有高压缩率和快速解码器。它支持广泛的压缩速度和压缩率的权衡，特别适合小数据字典压缩。Zstandard库遵循BSD许可证，格式稳定且已成为IETF RFC8478标准。...
Zstandard压缩算法Go实现开源项目解析
Zstandard，简称zstd，是一种开源的无损数据压缩算法，由Yann Collet在Facebook工作时开发。它旨在提供高压缩率的同时保持极高的解压速度，非常适合于实时数据压缩场景。zstd算法通过多种压缩技术（如霍夫曼编码、...
KVRocks:专为KV SSD设计的RocksDB兼容键值存储和MyRocks兼容存储引擎
05-26
**KVRocks: 专为KV SSD设计的RocksDB兼容键值存储和MyRocks兼容存储引擎** KVRocks是一款高效、优化的键值存储系统，它专门为使用固态硬盘（SSD）的Key-Value（KV）场景设计。这款存储引擎在设计时充分考虑了现代...
php-ext-zstd:Zstd PHP扩展
05-02
Zstd PHP扩展 此扩展允许Zstandard。 Zstandard的文档可以在找到。 从源代码构建 % git clone --recursive --depth=1 https://github.com/kjdev/php-ext-zstd.git % phpize % ./configure % make % make install 使用系统库 % ./configure --with-libzstd 从安装： % pecl install zstd 发行二进制包 费朵拉 Fedora用户可以从官方存储库安装软件包。 dnf install php-zstd CentOS的/ RHEL的 CentOS / RHEL（和其他克隆）用户可以从存储库中安装软件包。 yum install php-zstd 中提供了此扩展的其他RPM软件包（用于其他PHP版本）。 配置
zstd 压缩算法
eagooqi的专栏
03-11 1万+
1.Ztsandard介绍 Zstandard（或Zstd）是由Facebook的Yann Collet开发的一个无损数据压缩算法，Zstandard在设计上与DEFLATE（.zip、gzip）算法有着差不多的压缩比，但有更高的压缩和解压缩速度。在其官网(https://github.com/facebook/zstd)给出的性能测试中，Zstandard比snappy、lzo等算法有较高的优势。 Compressor name Ratio ...
【MySQL】MyRocks 漫谈
cojm55771的博客
12-18 217
一 前言 最近一两年，数据库技术尤其是MySQL方面的发展可谓百花齐放，TokuDB，MyRocks ，MySQL 5.7 GA,MySQL 8.0 doc release 其软件也在开发当中，ALiSQL 开源。其中...
zstd - 一种由Facebook使用的快速数据压缩算法
pansaky的博客
05-27 5643
Zstandard是一个快速的实时无损数据压缩算法和压缩工具，它提供了由Facebook开发的高压缩比。 分类:Linux命令操作系统 2018-06-09 00:00:00 Zstandard（也被称为zstd）是一款免费的开源，快速实时数据压缩程序，具有更好的压缩比，由Facebook开发。它是用C语言编写的无损压缩算法（在Java中有一个重新实现） - 因此它是一个本地Linu...
Zstandard(Zstd)新型压缩算法代替Zlib 简单使用教程
热门推荐
就是记录一下而已
12-07 1万+
Zstandard（缩写为Zstd）是由Facebook的Yann Collet开发的一个无损数据压缩算法。Zstandard在设计上与DEFLATE（.zip、gzip）算法有着差不多的压缩比，但有更高的压缩和解压缩速度。 Zstandard使用字典算法（LZ77）结合熵编码法的有限状态熵（tANS）。—–Wikipedia
PHP 实现压缩解压操作
huaweichenai的博客
06-13 687
在php中，有时我们需要使用到压缩文件操作，压缩文件可以节省磁盘空间；且压缩文件更小，便于网络传输，效率高，下面我们就来了解php的压缩解压相关操作 在PHP中有一个ZipArchive类，专门用于文件的压缩解压相关操作 在ZipArchive类中主要使用到了如下方法： 1：open(打开一个压缩包文件) $zip = new \ZipArchive; $zip->open('te...
PHP实现Zstd 压缩算法（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
04-26 365
PHP实现Zstd 压缩算法（附完整源码）
「猿区」ZSTD 压缩算法
qq_35667076的博客
02-28 4523
总之，zstd 的实现逻辑是通过学习分析数据的重复模式，使用 FSE 算法和 Huffman 树对压缩后的数据进行编码，从而达到高压缩比和快速解压的目的。在解压缩时，解压缩程序需要先读取头部信息，根据头部信息中的元数据进行相应的解压操作，然后读取压缩数据部分，使用相同的算法进行解压缩，还原为原始数据。头部信息：用于描述压缩数据的元信息，包括压缩级别、字典 ID、压缩标志位等信息。分析数据：zstd 会对输入的数据进行分析，寻找其中的重复模式，并将其替换为一些较短的指针，指向之前已经压缩过的重复数据。
Linux压缩算法-zstd
qq_36836950的博客
12-26 4538
本文讲述的是一种快速无损数据压缩算法（zstd）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值