编码的浪漫:完美序列化的官方评测

浪漫的c语言表白代码1 #include<stdio.h> #include<math.h> #include<stdlib.h> #defineI20 #defineR340 intmain() { inti,j,e; inta; longtime; system("titleiloveyou"); for(i=1,a=I;i<I/2;i++,a--) { for(j=(int)(I-sqrt(I*I-(a-... 阅读详情

在北银河65000个共和星,Zipack就像一台以可控核聚变驱动的永续型发动机,动力强劲,没有一丝赘肉。

西伯利亚大橘猫

Zipack VS MessagePack

虽然以前使劲吹过MessagePack,认为它是JSON的完美替代品,但还是发现了它的缺陷,最终光荣弃坑。于是我从头开始设计了MessagePack的替代品——Zipack:压缩效率进一步提升。我们来看看Zipack优于MessagePack(简称msgpack)的地方。本文主要从3种最基本的数据类型来评测2者的差距:浮点数、大整数、字符串。

  1.  浮点数性能比拼

浮点数是比较复杂的数据结构,永远记得在《计算机组成原理》中被浮点数考点支配的恐惧。msgpack支持的是传统的IEEE浮点数包括32位单精度和64位双精度这2种数据类型。

但是很显然在进制转化上没处理好,比如0.5明明可以用单精度表示,msgpack非要用双精度表示,后果就是,JSON用3个字节能表示的数,拿到msgpack占据了9个字节,简直是迷惑行为:

即使采用单精度,msgpack也需要5个字节来表示。而我的Zipack抛弃了IEEE浮点数,取而代之的是非标准化的原创算法——反转精度算法。在这套优美算法下,不仅可以表示任意精度的小数,还可以最大程度上地压缩小数。同样是0.5,Zipack只要3个字节:

结论:Zipack胜出。

2. 大整数性能比拼

首先msgpack居然支持总共10种整数类型,参考下面我画的msgpack的类型树。

可是整数根本不需要这么多类型,造成太多冗余,违背信息论“一一映射的原则”,Zipack只有3种整数类型,分别是小自然数、VLQ正整数、VLQ负整数。当然也不能怪msgpack,因为它也是尽可能地遵守IEEE的标准。

下面用大整数来测试双方的性能。用多大的整数呢?就拿从1970年1月1日初整点到现在经过的毫秒数来测试吧。

Date.now()

我们得到1596597287169,下面分别带入msgpack和Zipack,看看压缩效率如何。

1596597287169:

  • 在msgpack下的压缩比是69%

  • 在Ziapck下的压缩比是54%

解释:Zipack采用的是与IEEE整数完全不同的编码:VLQ偏移编码,在这个编码下,整数的体积得到了极大的压缩。

结论:Zipack胜出。

3. 字符串性能比拼

msgpack毫无悬念地采用了UTF-8字符编码,但稍微有点计算机基础的人都知道,UTF8非常冗余,赘肉横生,根本不适用于序列化格式。这不,Zipack从一开始就果断抛弃了UTF8,转而采用压缩率更高的VLQ编码,具体原理就不赘述了,感兴趣的可以参考Zipack官方的规范文档。VLQ编码的字符串相对于UTF8的显著优势在于,那些在utf8下需要3字节的中日韩字符(CJK)在Zipack下只需要2个字节。下面我们用《名侦探柯南》中那句必杀黑话:しんじつはいつもひとつ(真相只有一个)来测试,总共11个字符。

我嘞个天,msgpack居然没有一点压缩量。

反观Zipack,字符串的压缩比达到了2/3,因为原本3字节的字符变成了2字节的字符。

并不是所有中日韩字符都得到了1/3的超强压缩率,简体中文中的常用字符由于他们在Unicode中的排序靠后,仍然需要3字节来编码。(这就是我为什么不用中文测试的原因,哈哈)

结论:Zipack胜出。

这就是Zipack的魅力,其实Zipack还有许多地方比msgpack设计的更好,比如字典类型的key值约束可以更好的压缩key,短类型提供最大长度为32(msgpack则为16),等等,但由于这些效果不明显,就不展示了。

Zipack的官网:https://zipack.github.io/


“傻瓜”stata入门——熟悉操作界面 小白开始学习stata和matlab,零基础上手 阅读详情

相关推荐

从FreeCAD到BIMBase:PlaneGCS约束求解器的移植使用指南

本文为BIMBase平台的开发者提供了一份详细的PlaneGCS几何约束求解器移植与集成指南。文章深入探讨了如何从FreeCAD中提取PlaneGCS核心代码,并将其适配到BIMBase的C++二次开发环境中,重点解决了内存管理、数据模型桥接、约束抽象以及性能调优等关键问题,旨在帮助开发者构建稳定高效的参数化设计模块。

weixin_29213525的博客 321

Go : 常用库MsgPack的简介与实践

官网: https://msgpack.org/MessagePack是一种有效的二进制序列化格式。它使您可以在JSON等多种语言中交换数据。但是它更快,更小。小整数被编码为单个字节,典型的短字符串除了本身之外,仅需要一个额外的字节。msgpack会将数据打包成二进制的数据,它的数据格式与json类似,但是在存储时对数字、多字节字符、数组等都做了很多优化,减少了无用的字符,二进制格式,也保证不用字符化带来额外的存储空间的增加,所以在很大程度上减少来传输数据的大小。

GIS摆渡人 1471

告别复杂配置!5分钟在Vue/React项目中集成讯飞语音听写WebSocket API

本文详细介绍了如何在Vue/React项目中快速集成讯飞语音听写WebSocket API,实现高效语音识别功能。通过对比不同通信方案,突出WebSocket在实时语音交互中的优势,并提供框架适配、音频处理及性能优化等关键技术点,帮助开发者5分钟内完成专业级语音听写功能集成。

weixin_28730353的博客 274

HTML5七夕情人节表白结婚邀请函网页制作(HTML+CSS+JavaScript)

📒网站文件方面:html网页结构文件、css网页样式文件、js网页特效文件、images网页图片文件;📙网页编辑方面等任意html编辑软件进行运行及修改编辑等操作)。其中:(1)📜html文件包含:其中index.html是首页、其他html为二级页面;(2)📑 css文件包含:css全部页面样式,3D动态效果,雪花飘落等等(3)📄 js文件包含:页面炫酷效果实现。

HTML网页设计 专注大学生网页设计 8423

SAP 配额修改 + 修改记录写入实现

采购配额修改并写入修改记录 cdhdr 和 cdpos

GAVIN 1106

10.2 在新能源、储能及电网节点的应用实践

构网型变流器技术在电力系统中的应用进展 构网型变流器技术正从理论研究走向规模化工程应用,为新能源并网提供主动支撑能力。该技术在光伏电站采用"部分构网"混合架构,由构网单元实现黑启动和弱网稳定;在风电场利用叶轮动能提供惯量响应。储能系统是理想的构网载体,可提供快速调频和动态电压支撑。在电网节点,构网型STATCOM可增强弱电网电压稳定性,大容量变流器可替代传统调相机。当前面临标准滞后、宽频振荡风险等共性挑战,需在可靠性、经济性间取得平衡。系统级协调控制和精确阻抗建模是应用成功的关键。

技术工作者 1115

java浪漫代码_30条代码,拿去“表白”

作者 | 程序员客栈来源 |https://www.zhihu.com/question/311080765/answer/595467327今天520,有些人在思考如何脱单,有些人在思考如何表白,有些人在思考如何秀恩爱,可今天还要上班怎么破?其实很多时候礼物不一定就需要花钱买,今天我们就用代码来一次表白吧,把你中意的代码发给她,看她能不能看懂,哈哈哈!而它们不是一般的代码,它们是文化...

weixin_39563420的博客 3万+

大语言模型原理与工程实践:行业大语言模型的评测:以金融行业大语言模型为例

大语言模型、金融行业、模型评测、自然语言处理、深度学习、Transformer、BERT、GPT 1. 背景介绍 近年来,大语言模型(Large Language Model,LLM)在自然语言处理(Natural Language Processing,NLP)领域取得了突破性的进

AI大模型应用之禅 139

程序员的浪漫--console.log()在浏览器控制台输出特殊字符编码的图案

前言:520刚刚过去,不知道大家都做了什么浪漫的事情。下面介绍一种程序员的表白方式最近在查看某些网站的,发现在浏览器的控制台会打印处理一些特殊的图案,比如知乎。那我们何不把这个换成我们喜欢人的照片。在百度之后,发现打印这个是使用了console.log() 打印的,我查找了一下知乎网的这个console.log() 代码。在https://static.zhihu.com/heifetz/main...

qq1164014750 3万+

Spring AI Alibaba实战训练营-05模型输出质量评估

本文介绍了使用Spring AI Alibaba库评估AI模型输出质量的方案。项目通过5种评估器实现自动化评估:相关性评估、事实准确性评估、答案相关性评分、答案正确性评估和忠实度评估。开发步骤包括环境准备(Java 17、Maven、API Key获取)、创建Maven项目、配置Spring AI(通过环境变量安全设置API Key)以及实现RAG流程。重点强调了通过评估器自动检测AI输出的质量指标,帮助开发者优化AI应用性能。

program哲学 223

【教程4>第1章>第11节】使用MATLAB快速产生批量verilog语句加快FPGA开发

...........如果手动写,那么就非常麻烦,这个时候,我们借助matlab,则可以快速生成上述类型的verilog程序,我们编写如下的MATLAB语句。\n");\n");end。

FPGA/MATLAB学习教程/源码/项目合作开发 1242

spark(kryo)、hadoop(writable)、jdk(serializable)-序列化

一、SRC 一个类在jvm中是有结构的,但即使是在jvm中,也是一堆数据。网络只能传文本,所以需要序列化和反序列化。 通过几种方式的序列化后文本输出到本地文件,可以对比下大小。 二、jdk的序列化 将类的上级所有层次都序列化,相当于把类的所有描述信息写在文本中传输。效率较低。 ObjectOutputStream底层就是调用的DataOutputStream,只不过把类的层级、包名和数据一起传了。 三、hadoop 如果提前告知对方类的结构,则只需要传数据。效率会高。MR就是这种思路,所以MR用的是xxxW

DCHAO的博客 854

声音源定位:利用YOLO与麦克风阵列定位声音来源YOLOv5、YOLOv8、YOLOv10

YOLO(You Only Look Once)是一个用于目标检测的深度学习模型。YOLO的最大特点是其通过一次前向传播即可完成多个目标的检测,速度和精度相对其他目标检测算法具有显著优势。YOLO模型的版本不断更新,从YOLOv1到YOLOv10,算法精度和速度都有了显著的提升。声音源定位是利用多个麦克风阵列收集的声音信号,通过算法计算声音源的位置。声音源定位的关键在于准确估计每个麦克风的声音到达时间,从而确定声音源的空间坐标。基于时延估计(TDOA)

YOLO 674

信息论与编码_编码的浪漫:完美序列化的官方评测

在北银河65000个共和星,Zipack就像一台以可控核聚变驱动的永续型发动机,动力强劲,没有一丝赘肉。西伯利亚大橘猫ZipackVSMessagePack虽然以前使劲吹过MessagePack,认为它是JSON的完美替代品,但还是发现了它的缺陷,最终光荣弃坑。于是我从头开始设计了MessagePack的替代品——Zipack:压缩效率进一步提升。我们来看看Zipack优于Messa...

weixin_39562089的博客 139

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

最近200篇文章汇总

虚拟偶像行业分析SVG实战:实现港珠澳大桥logoWeb开发者的简历模板优秀员工评审表模板年度员工总结模板前端原生开发解决方案四大正切圆柱投影CSS实现最简洁的四角边框CSS实现最简洁的加载动画用最少的代码渲染3D模型中心透视圆柱投影正轴等距离切圆柱投影等角切圆柱投影的证明等面积圆柱投影的简单证明等面积圆柱投影的证明升级【转载】TMS协议简介新生代民工书籍推...

全栈空间 1115

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Python深度学习:从入门到实战

亲爱的读者,欢迎您翻开这本书。我们即将探索的,是深度学习的宇宙——一个由数据、算法与算力构筑的奇妙世界。它既是严谨的科学,也是创造的艺术,更是一条通往未来智慧的修行之路。本书将带您从最基础的数学原理出发,亲手搭建神经网络,驾驭Transformer等前沿模型,最终将智慧转化为现实世界的价值。请放下畏惧,保持好奇。这不仅是一次知识的学习,更是一场思维的远行。来,随我一起,开启这趟非凡的旅程吧。

weixin_45747731的博客 301

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

base64编码_base64的同胞编码方式——VLQ编码详解

为了方便调试,最近想把项目中的代码加一下sourceMap,所以就去研究了一下,在研究的过程中发现sourceMap使用了一种叫base64-vlq的编码方式,那么这篇文章我们就先来聊一聊这种编码方式的原理,看看它和base64有什么样的关系?如果你还不了解base64编码的原理,可以先看一下我之前的一篇文章详解base64和latin1的编码原理base64-vlq的简介编码的目的大多数是为了安...

weixin_39867559的博客 1743

将long数字序列化为json时,转换为字符串

由于javascript中所有数字都是64位的浮点数,所以整数只能精确的表示53bit长的数字。 在从server得到的json数据中,有ID是长整数类型,在客户端根据此ID生成的link也是不准确的。 办法1是后端ViewModel中ID都改为string类型,但是这种方式会需要在后台进行大量的转换,不是很方便。 方法2:在mvc的action进行json输出的时候,将long类型的属性直...

weixin_30401605的博客 1446

java情话代码,程序员浪漫的二进制表白代码

那天情人节,我给她发了一串数字(01001001 00100000 01101100 01101111 01110110 01100101 00100000 01111001 01101111 01110101),她说我不懂浪漫,我低头苦笑,其实她不知道,这是二进制形式的"I love you",难道程序员真的注定孤独一生?程序写得比较粗陋,作为不登大雅之堂的娱乐工具,足够了。支持中文public...

weixin_39805529的博客 4571

MessagePack:最可能取代JSON的存在。

。。。科普一个冷门的,但是很强的技术:MessagePack,简称msgpack。msgpack不是软件,是一个标准,可以先把它看成二进制的json,“二进制json”容...

全栈空间 2633

MessagePack编解码功能测试代码补齐

在李林峰《netty权威指南第二版》中第123页,作者将之前的EchoServer和EchoClient改造,同时编写自定义MsgpackEncoder和MsgpackDecoder编解码类;测试传输pojo对象的编解码功能,在改造完clien端后,123页下面说服务端代码与客户端类似,请参考书中附带的源码;但是源码中并没有这一节内容,新手如果想测试一遍书中的例子,一时写不出来,参考这里,其实很简

风雨诗轩的博客 898
上一篇: 【polyfill】Promise.allSettled
下一篇: 虚幻引擎中的节流与防抖
xosg
xosg 领域专家: 网络协议与安全技术领域 领域专家: 网络协议与安全技术领域
博客等级 码龄9年 1987粉丝 864原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xosg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值