变长浮点编码原理

B-Posit算术:下一代浮点运算的硬件优化方案 浮点运算作为计算机算术的核心基础,其精度与效率直接影响科学计算和AI应用的性能。传统IEEE 754标准采用固定位宽设计,在动态范围和精度之间存在固有矛盾。Posit格式通过可变长度字段实现锥形精度和动态范围自适应,但硬件实现复杂度高。B-Posit创新性地引入regime长度约束,在保留Posit数学优势的同时大幅简化硬件架构。实测显示32位B-Posit解码电路功耗降低79%,面积减少71%,延迟下降60%。这种硬件友好的数值格式特别适合AI推理、HPC和边缘计算场景,为下一代计算架构提供更高效的算术基 阅读详情

上一期介绍了Base128编码,这次谈谈Base128的实现——Zipack。以下内容是我Zipack格式的中文规范,其中最精彩的部分在“变长浮点数”的部分。

zipack开发指南

前言

zipack格式比较复杂,需要集大家的贡献才能建设出一个良好的生态,目前已经开发出的JavaScript版本zipack编码解码器可作为参考,请根据本文的伪代码开发其他语言的版本。关于zipack设计的思路和优缺点不在本文中重述,请参考之前的文档,本文只提供为开发者服务的specification。

常用变量

r7 = 2 ^ 7
r14 = 2 ^ 14
r21 = 2 ^ 21
r28 = 2 ^ 28
r35 = 2 ^ 35
r42 = 2 ^ 42
  
R7 = r7
R14 = r14 + r7
R21 = r21 + r14 + r7
R28 = r28 + r21 + r14 + r7
R35 = r35 + r28 + r21 + r14 + r7
R42 = r42 + r35 + r28 + r21 + r14 + r7

r = [1, r7, r14, r21, r28, r35, r42]
R = [0, R7, R14, R21, R28, R35, R42]

准备工作:VLQ自然数

zipack采用原创的VLQ偏移算法编码自然数,一个VLQ面值要加上一个偏移值才得到实际值,比如0111,1111代表127,而1000,0000 0000,0000代表128。

从字节流中index处读取一个自然数

从第index字节开始解析一个vlq字节串(到最高位是0的字节为止),将其转成自然数

  • 函数名:vlq2nature

  • 输入:字节流bytes,下标index

  • 输出:自然数,新的下标index

步骤:

  1. 记录初始下标start=index

  2. 从start字节开始循环,index自增,直到找到最高位比特是0的字节为止,即 byte < 1000,0000

  3. 让index指向下一个字节:index++

  4. 在bytes身上从start截取到index为止,左包含,右不包含,即 vlq = bytes.slice(start, index)

  5. 将vlq的每个最高位去掉,生成一个7bit组

  6. 将7bit组组合成一个自然数 nature

  7. 将这个自然数加上偏移值,nature += R[vlq.length - 1]

  8. 输出nature和index

将一个自然数转换成字节流

是上面的vlq2nature的逆过程

  • 函数名:nature2vlq

  • 输入:自然数nature

  • 输出:字节流bytes

步骤:

  1. 遍历R,直到nature < R[i]为止

  2. 取出自然数的面值faceValue = nature - R[i-1]

  3. 将faceValue的二进制形式拆成7bit组

  4. 最后一个7bit的最高位添加一个bit:0

  5. 其余每个7bit的最高位前添一个bit:1

  6. 输出字节流bytes

准备工作:VLQ字符串

zipack的字符串禁用utf8,而是开创性地用VLQ自然数编码的Unicode字符,即将每个字符的Unicode编号和一个vlq自然数一一对应。

将字节流转换成字符串

  • 函数名:vlqs2string

  • 输入:字节流bytes,起始下标index,字符串长度length

  • 输出:字符串

步骤:

  1. 循环length次

  2. 每次调用vlq2nature函数得到一个Unicode编号

  3. 将这些编号转换成Unicode字符,输出字符串

将字符串转换成字节流

  • 函数名:string2vlqs

  • 输入:字符串string

  • 输出:字节流bytes

步骤:

  1. 循环string.length次,或遍历string的每个字符

  2. 每次提取出字符的Unicode编号(是一个自然数)

  3. 调用nature2vlq函数将编号转换成字节流

  4. 将所有字节流拼接成大字节流并输出

zipack类型树

zipack类型树

zipack的数据类型大致可以分为3个部分的前后拼接:前缀、长度、负载。上图是所有的前缀,长度代表负载的某种长度,不同类型的“长度段”有不同的含义,负载则是数据内容本身。

整数编码

整数有3个类型:小自然数、VLQ正整数、VLQ负整数,其中小自然数的最大值(127)紧接VLQ正整数的最小值(128),VLQ负整数从-1开始。

小自然数

  • 前缀:0

  • 长度:无

  • 负载:7bit

小自然数的总长度是固定的1byte,大小从0到127,即从 0000 0000 到 0111 1111。

VLQ正整数

  • 前缀:1111 1000

  • 长度:无

  • 负载:vlq自然数+128

VLQ负整数

  • 前缀:1111 1001

  • 长度:无

  • 负载:-1-vlq自然数

小数编码

zipack的小数不采用IEEE的浮点数编码规则,而采用一种原创的“精度反转编码”算法。

  • 前缀:正小数1111,0010,负小数1111,0011

  • 长度:无

  • 负载:精度反转(整数部分,小数部分)

精度反转算法

以一个二进制正小数110.0101为例,将其编码为一段字节流,负小数同理

  1. 将小数分为整数部分和小数部分,分为110、0.0101

  2. 将整数部分编码成VLQ自然数(A)

  3. 将小数部分末端无意义的0去掉

  4. 小数部分截取小数点后的内容得到一个字符串“0101”

  5. 将字符串反转得到“1010”

  6. 通过类型转换转成自然数1010

  7. 减一得1001

  8. 将该自然数存储为VLQ自然数(B)

  9. 输出A、B

字符串编码

zipack字符串的长度段代表字符的数量。

短字符串

  • 前缀:100

  • 长度:5bit

  • 负载:string2vlqs(string)

VLQ字符串

  • 前缀:1111,0101

  • 长度:vlq自然数+32

  • 负载:string2vlqs(string)

字典中的“键”

  • 前缀:无

  • 长度:vlq自然数

  • 负载:string2vlqs(string)

纯字节流类型

zipack纯字节流的长度段代表字节的数量。

  • 前缀:1111,0100

  • 长度:VLQ自然数

  • 负载:字节流

简单类型:Boolean和Null

True

  • 前缀:1111,0000

  • 长度:无

  • 负载:无

False

  • 前缀:1111,0001

  • 长度:无

  • 负载:无

null

  • 前缀:1111,1010

  • 长度:无

  • 负载:无

复合类型:列表

zipack列表的长度段代表列表中元素的数量,元素可以是任何其他zipack类型。

短列表

  • 前缀:101

  • 长度:5bit

  • 负载:若干个子元素的拼接

VLQ列表

  • 前缀:1111,0110

  • 长度:VLQ自然数+32

  • 负载:若干个子元素的拼接

复合类型:字典

zipack字典的长度段代表字典中键值对的数量,其中键是string类型,值是任意zipack类型。zipack字典是有序字典,键值对之间可以有顺序。键是string类型,但和zipack本来的string类型不同之处在于,键没有前缀,而且长度段是一个没有偏移的vlq自然数,可以参考上面的定义。

小字典

  • 前缀:110

  • 长度:5bit

  • 负载:键,值,键,值...

VLQ字典

  • 前缀:1111,0111

  • 长度:vlq自然数+32

  • 负载:键,值,键,值...

保留类型

zipack预留了6个尚未定义的类型前缀,开发者和用户可以自行扩展,赋予其新的意义。

  • 1110

  • 1111 1011

  • 1111 1100

  • 1111 1101

  • 1111 1110

  • 1111 1111

h264编码原理 一、视频压缩基本原理 1、预测编码 所谓预测,就是根据已知信息来推断所需要的信息。预测编码就是根据其他帧或当前帧其他位置的像素点,预测待编码位置的像素点,并将实际值与预测值相减,得到残差值,编码时存储残差值来代替原始值,可大大减少存储比特。预测编码分为两大类:基于时间的预测(帧间预测)和基于空间的预测(帧内预测)。 1.1.1帧间预测 视频帧在时间上有极大的连续性和相关性。自己可以拍摄一个视频,对比视频中的任意相邻两帧,除了转场的画面外,其余临近帧的像素差别很小。利用这一特性,可以实现帧间预测。 1.1.2 阅读详情

相关推荐

香农、费诺、霍夫曼编码原理与Python实现对比

信息论中的无失真编码是数据压缩与可靠通信的基石,香农编码、费诺编码和霍夫曼编码作为三种经典变长编码方法,均以概率分布和信源熵为理论基础,通过为高频符号分配短码字来降低平均码长。香农编码基于累加概率与向上取整规则生成码字,费诺编码通过递归分组让概率和尽量均衡,而霍夫曼编码借助优先队列构造满足前缀条件的最优二叉树,是工程压缩中实际应用的方案。用Python实现这三种算法,能直观对比其码长分布、编码效率与压缩比,既能深入理解无失真编码的底层原理,也为实验验证和数据压缩场景提供了可复现的技术参考。从编码理论到代码落

weixin_31188927的博客 182

深扒Git底层格式:VLQ偏移自然数

上一篇从信息论的角度揭露了IEEE浮点数的设计缺陷,目的是提出一套可以替代IEEE浮点数的编码方案:精度反转算法。但首先要了解该算法的基础:VLQ编码。Base127 VLQ:可变长的物...

全栈空间 1899

Python实现三大无失真编码:香农、费诺、霍夫曼算法对比与避坑指南

信息论中的无失真编码也叫无损压缩,是数据压缩领域的基础。香农、费诺和霍夫曼三种变长编码算法都基于概率模型,通过构造前缀码来降低平均码长。霍夫曼编码因其最优性成为最常用的熵编码方案,而香农编码中的累加概率思路更是理解算术编码的关键。本文用Python实现这三类经典算法,覆盖最小堆建树、递归划分、概率排序等核心步骤,并解析浮点精度、边界条件、Kraft不等式验证等工程常见问题。从基本原理到实际压缩应用对比,帮助信息论学习者和Python开发者避开实现陷阱,正确评估编码效率。

weixin_32520095的博客 199

base64编码_base64的同胞编码方式——VLQ编码详解

为了方便调试,最近想把项目中的代码加一下sourceMap,所以就去研究了一下,在研究的过程中发现sourceMap使用了一种叫base64-vlq的编码方式,那么这篇文章我们就先来聊一聊这种编码方式的原理,看看它和base64有什么样的关系?如果你还不了解base64编码的原理,可以先看一下我之前的一篇文章详解base64和latin1的编码原理base64-vlq的简介编码的目的大多数是为了安...

weixin_39867559的博客 1743

Huffman编码原理与C语言实现深度解析

Huffman编码是一种基于字符频率的无损压缩算法,其核心原理是通过贪心策略构建最优前缀码二叉树,实现对高频字符分配短码、低频字符分配长码。该技术的价值在于理论最优性与工程可实现性的统一,广泛应用于ZIP、GIF、JPEG等格式的底层压缩模块。实际落地时需解决频率统计、树结构序列化、位流打包、跨平台浮点一致性及文件I/O边界控制等关键问题。本文以标准C语言实现为载体,深入剖析Huffman树构建、编码生成、位操作打包与解码导航全过程,特别聚焦于数组模拟树、double精度权值存储、short int位缓冲等

weixin_29698641的博客 159

axy-sourcemap-base64vlq:用于 Node.js 的 VLQ(可变长度数量)Base64 算法(用于源映射)的编解码器

axy-sourcemap-base64vlq VLQ(可变长度数量)Base64 算法(Node.js)的编解码器。 GitHub: NPM: 执照: 作者:奥列格·格里戈里耶夫 VQL + Base64 Base64 允许我们在文本字符串中表示一系列数字,可以以文本格式(JSON、XML 等)存储和传输。 VLQ 允许我们在一个数字容量很小的序列号中表示一个整数。 例如 6 位是 Base64 的限制。 结果数字称为“VLQ 数字”。 小输入数字由比大数字更少的 VLQ 数字表示。 因此,如果输入序列主要包含小数,则 VLQ 最有效。 VLQ+Base64 允许我们以文本格式有效地表示一个整数序列(以少数为主)。 例如,它用于 。 算法 例如,我们有一个数字块: [12345, -12345, 0] 。 (1). VLQ 仅适用于无符号整数。 将符号位传送到整数的末尾

VLQ的介绍

什么是VLQ

NiDeHaoPengYou的博客 3519

工业质检新利器:手把手教你用AD-DINOv3实现零样本缺陷检测(附MVTec AD实战)

本文详细介绍了AD-DINOv3框架在工业质检中的应用,通过零样本异常检测技术解决传统方法的标注成本高和泛化能力弱问题。文章包含技术原理解析、MVTec AD数据集实战部署、模型训练流程及工业部署优化技巧,帮助读者快速掌握这一创新技术。

seed的博客 766

VLQ:一款强大的Base64 VLQ编解码JavaScript库

VLQ:一款强大的Base64 VLQ编解码JavaScript库 1. 项目基础介绍及主要编程语言 VLQ是一个开源项目,它提供了Base64 VLQ(Variable-Length Quantity)编码和解码的功能。该项目的主要编程语言是JavaScript,适用于Node.js和浏览器环境,并且支持AMD模块系统。VLQ编码通常用于生成sourcemap,它可以将原始源码映射到生成的内容,...

gitblog_00970的博客 520

cst-python联合仿真的问题解决

cst与python联合仿真出现无法调用CST的问题解决

ayihu_的博客 2375

电容DAC版图布局中的对称艺术:从二维共质心到误差最小化

本文深入探讨了电容DAC版图布局中的对称艺术,重点介绍了二维共质心技术如何有效最小化误差。通过分析系统误差和随机误差的来源,详细解析了共质心布局的核心技术及优化策略,包括梯度误差补偿和寄生参数平衡方法。实战案例展示了该技术在12位SAR ADC设计中的应用效果,为高精度集成电路设计提供了重要参考。

weixin_29300241的博客 586

Thrift之TProtocol系列TCompactProtocol解析

TCompactProtocol协议作为TBinaryProtocol协议的升级强化版,都作为二进制编码传输方式,采用了一种乐器MIDI文件的编码方法(wiki,百度下),简单介绍下两种思想: 1: ZigZag有符号数编码,如表格所示: 其效果等效于正数等于原先 * 2,负数变正数。 32bits int = (i << 1) ^ (i >>...

细雨纷飞~~~ 1615

SCCM实战指南:从零搭建企业级Windows自动化部署平台

本文提供了一份详细的SCCM实战指南,手把手教你从零搭建企业级Windows自动化部署平台。内容涵盖环境规划、AD架构扩展、SQL Server配置、SCCM主站点安装,以及最终实现操作系统镜像的自动化部署,旨在帮助IT管理员彻底告别手动装机,实现高效、规范的Windows设备批量管理。

weixin_29251337的博客 639

计算机组成原理:数制与编码

当我们在键盘上敲下文字、在屏幕上看到数字、运行程序进行计算时,计算机底层其实只在做一件事:处理0和1的电信号。从人类熟悉的十进制数字、中英文文字,到机器能识别的二进制数据,中间的桥梁就是数制与编码。它是计算机组成原理的入门第一课,也是理解CPU运算、存储器设计、数据传输的底层逻辑基础。今天我们就从原理出发,彻底搞懂数制转换、数值编码、字符编码和校验码的核心逻辑。提示:以下是本篇文章正文内容,下面案例可供参考数码:数制中表示基本数值的符号,比如十进制的0~9基数。

2601_96680840的博客 588

【无线通信】射频杂散(RF Spurious Emissions)

射频杂散(RF Spurious Emissions)是指在无线通信系统中,除了在指定频率范围内的预期信号之外,任何不需要的或非预期的射频信号。这些杂散信号可能会干扰其他通信系统,降低系统性能,并违反无线电通信法规。射频杂散通常包括谐波、次谐波、互调产物和其他非线性失真所产生的信号。

qq_38801607的博客 5433

双馈风机并网系统宽频振荡机理与抑制方法研究

双馈风机并网系统宽频振荡分析与抑制 摘要:本文研究了双馈风机(DFIG)接入弱电网引发的宽频振荡问题。通过建立DFIG并网系统阻抗模型,分析了锁相环带宽、电流环带宽等参数对阻抗特性的影响。研究揭示了DFIG与电网阻抗交互导致交截频率处相位差超过180°的振荡机理。提出基于锁相环优化的阻抗重塑抑制策略,采用电压补偿和陷波器改善系统稳定性。仿真结果表明,该方法能有效降低相位差约10°-168°,显著抑制宽频振荡。代码实现了阻抗建模、稳定性分析和抑制策略验证,为工程应用提供了理论依据。

huanghm88的专栏 322

HiFloat8浮点数据格式:既要又要之路

本文介绍了新型8位浮点格式HiF8,旨在解决AI计算中动态范围与精度的平衡难题。传统FP8格式(E4M3/E5M2)在LLM训练中存在动态范围不足(仅18/32个指数)导致训练不稳定的问题。HiF8创新性地采用变长前缀码编码的点位域设计,通过锥形精度特征实现精度渐变(1-3位尾数)而非跳变,在8位限制下支持[-22,15]共38个指数的动态范围,接近FP16的40个指数水平。相比FP8训练需牺牲15%性能换取稳定性的现状,Hi

全球计算联盟的博客 1134

[EdgeAI] NXP eIQ 机器学习Toolkit (二):模型篇

eIQ™机器学习(ML)软件开发环境支持在恩智浦EdgeVerse™微控制器和微处理器(包括i.MX RT跨界MCU和i.MX系列应用处理器)上使用ML算法。eIQ ML软件包括称为eIQ Toolkit的ML工作流工具以及推理引擎、神经网络编译器和优化库。......

HowieXue 薛永浩的博客 1万+

《data compression》笔记

第三章 信息熵仅仅从整个数据集符号的静态频率统计上考虑,把符号看作是孤立的个体,而忽视了符号之间的顺序(普遍联系),这使得将数据压缩到超越信息熵的限制成为可能。(马哲yyds)

Ingsuifon的博客 196

RK3588部署YOLOv11与RKNN全流程教程

本文详细介绍了在RK3588开发板上部署YOLOv11目标检测模型的全流程。主要内容包括:PC端CUDA/cuDNN环境配置、Anaconda虚拟环境搭建、RKNN Toolkit2安装;YOLOv11模型从PyTorch到ONNX再到RKNN的格式转换;以及RK3588开发板的系统配置、RKNPU驱动安装和最终推理实现。教程提供了完整的代码示例,帮助开发者快速在边缘设备上实现高效的AI推理应用,涵盖从环境准备到实时检测的全套解决方案。

FJN110的博客 379

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

《Hello 算法》数据结构的底层基石:逻辑结构与物理结构、数制编码与字符编码全解析

本文是 Hello Algorithm(《Hello 算法》)英文版数据结构章节([chapter_data_structure](https://link.gitcode.com/i/aa0b684c75beadc56c4a1ccdee0d4178))的**章节总结与深化导读**。本章聚焦"数据如何组织、如何存储、如何在内存中编码"三大主线:先以逻辑结构与物理结构两个维度对数组、链表、栈、队列、

gitblog_00050的博客 463

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

计算机系统实验二:数据表示实验——补码、IEEE 754浮点数、UTF-8与字节序的位级解析

在计算机底层,整数、浮点数、字符和字节序均以二进制形式表示。整数采用补码编码,浮点数遵循IEEE 754标准,字符编码如UTF-8使用变长规则,字节序则区分大小端。理解这些原理有助于解决数据截断、精度丢失、乱码和网络字节序等工程问题。例如,补码的边界值处理、浮点数的舍入规则、UTF-8的自同步特性以及大小端转换,都是开发中常见的技术难点。这些知识广泛应用于系统编程、网络通信和跨平台开发。本文围绕计算机系统实验二,深入解析数据表示的位级细节与实操要点。

weixin_32073537的博客 281

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

二进制序列化与反序列化:核心原理、字节序陷阱与工具选型实战

序列化与反序列化是数据在内存与字节流之间转换的基础技术,直接关系到系统的传输效率与存储开销。在 Web 接口中,JSON 凭借可读性占据主流,但在高并发 RPC、嵌入式通信及海量存储等场景下,文本格式的冗余字符与解析成本成为性能瓶颈。二进制序列化通过固定字段布局、紧凑编码(如变长整数)和可控的字节序,将数据体积压缩数倍,同时大幅降低 CPU 开销。理解大端小端、内存对齐等底层细节,是规避跨语言数据错乱的关键。而 Protobuf、FlatBuffers、MessagePack 等成熟方案,则在易用性与极致性

weixin_30702441的博客 129

MMKV的原理与实现(二)

MMKV的原理与实现(二) 上一篇讲了MMKV的存储原理以及protobuf编码的规则,并以一个整数的编码规则举例。今天我们就从 MMKV的源码来剖析它具体是怎么实现的。 页 上次简单的提了一下页的概念,在Linux中,数据都是以分页的形式保存的,32位系统中,一页就是1024个字节,MMKV在初始化文件的时候,给文件分配了一页的大小,后面根据修改后的数据大小再进行动态扩容,每次翻一倍。 负数编码...

看了就忘,学了就废系列 2879

Mysql中的数据类型

decimal(m, d) [unsigned] : 定点数m指定长度,d表示小数点的位数,可以规避float的精度损失;decemal是存进去是什么就是什么,如果未来使用的场景对精度要求不高可以使用float,要求高使用decemal;

dingdianduoyu_的博客 350

ProtoBuf—编码原理

protobuf编码原理 protobuf将协议缓冲区消息(message)编译压缩成二进制格式的文件。 当消息被编码时,键和值被连接成一个字节流,tag-value。 protobuf中message是一系列键值对,message的二进制版本只是使用字段号(field`s number和wire_type)作为key,key的后3位位表示的是wire_type。 每个字段的名称和声明类型只能在解码端通过引用消息类型的定义。如果没有数据结构描述.proto文件,拿到数据以后是无法解释成正常数据结构的。

Yaixihn 1984
上一篇: Base128编码规范
下一篇: 高级前缀码的Huffman设计理念
xosg
xosg 领域专家: 网络协议与安全技术领域 领域专家: 网络协议与安全技术领域
博客等级 码龄9年 1987粉丝 864原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xosg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值