Base128编码规范

Protobuf(五):Protobuf中的Base 128 Varints(大端模式 & 小端模式) 1. 絮絮叨叨 学习protobuf的Encoding部分时,就对其使用的数值编码格式产生的了浓厚的兴趣 后来,在学习ORC的Compression部分时,发现ORC对每一个数据块(chunk),都通过3 bytes的header来标识其数据长度、是否压缩 同时,header使用little endian(小端存储) 学习到Run Length Encoding部分时,介绍了Base 128 Varints,并指明该varint来自protobuf中 不管是Base 128 Varints,还是对head 阅读详情

Base64与Base128

其实Base128和Base64没什么联系,只是沿用了这种命名规范而已。Base64是通过选取256个ASCII字符中的64个可打印字符,将任意的二进制字节流转换成字符串。根据信息论一一映射原理,任意的Base64“无字符意义的”的字符流,每个字节的最高2位都是0,相当于:

00xxxxxx 00xxxxxx 00xxxxxx......

这样的话,每个字节就有2bit浪费掉了,总浪费量是1/4,也就是说Base64要求把每三个8Bit的字节转换为四个6Bit的字节(3*8 = 4*6 = 24),然后把6Bit再添两位高位0,组成四个8Bit的字节,也就是说,转换后的字符串理论上将要比原来的长1/3。

但是Base128编码是另外一种编码,也叫variable-length quantity(VLQ),即一种变长编码。我准备用3期来详细谈谈Base128以及基于它的Zipack格式。

以下内容来自Zipack格式的README:

https://github.com/zipack/spec/blob/master/README-zh.md

Zipack

官网:https://zipack.gitee.io/

规范(英文):spec.md

这个仓库保存Zipack的规范,并且和Github仓库同步更新。Zipack是一套高效的二进制序列化格式,比JSON更小更快,支持更多的数据类型。在字符串和小数的编码上,Zipack采用原创的算法来取代臃肿的UTF-8和IEEE浮点数。

文件后缀名:.zipack

mime类型:application/zipack

优点

  1. 体积更小:可以将JSON压缩至70%左右。

  2. 速度更快:基于前缀的二进制格式无须编译,比文本格式更快。

  3. 类型丰富:支持Number,String,Bool,Null,ByteArray,List,Map(字典)以及保留类型。

  4. 变长编码:根据Huffman编码,常用的类型更短,如小整数只占1个字节。参考tree.km

  5. 原创算法:在处理字符串和浮点数上,Zipack采用压缩率更高的编码来取代标准的UTF8和IEEE浮点数,具体原理请参考spec.md。

  6. 自由扩展:Zipack提供保留前缀,开发者可借此添加新的类型。

  7. 流化传输:处理大数据的时候,Zipack可以无缝拼接,边传输边处理。

应用场景

你可以直接用Zipack取代JSON,同时ByteArray类型让你可以插入二进制文件而无须使用臃肿的Base64编码。由于Zipack是无格式的,你也可以选择利用保留类型来预交换格式。常见的使用场景包括内存缓存、RPC通信协议、配置文件等。

动机

当今最流行的序列化格式无疑是JSON,但是基于文本的JSON有许多缺点,比如解析速度慢,体积较大。而只有基于前缀的二进制格式能克服这些问题。所以我设计了一个紧凑的、无协议的二进制序列化格式Zipack用来取代JSON,为数据的存储和传输提供更好的方案。

生态系统:I need you

Zipack只是一个格式,想要投入使用,我们需要开发相应的软件。目前作者已经开发出JavaScript版本的编解码器:zipack.js。但是我需要你的帮助来共同建设Zipack的生态,请参考spec.md开发其他编程语言的zipack工具。

关于作者

坐标:江浙沪一带

Github:https://github.com/jinhengyu

Gitee:https://gitee.com/jinhengyu

博客:https://jimmy.blog.youkuaiyun.com/

这个是base的解码工具 有base的乱码,他可以解决 http://u.115.com/file/clnern84# Base解码工具.exe 立即下载

相关推荐

Python库 | base128-0.1.1-py3-none-any.whl

资源分类:Python库 所属语言:Python 使用前提:需要解压 资源全名:base128-0.1.1-py3-none-any.whl 资源来源:官方 安装方法:https://lanzao.blog.youkuaiyun.com/article/details/101784059

浅析Base-128编码约定

前言 最近在研究的Xdelta3源码中使用了一种叫做VCDIFF的编码格式,为了可移植性,VCDIFF使用了Base-128的编码约定,下面我们就来简单介绍一下Base-128编码约定。 Base-128 它是一种可移植的、可变大小的编码格式,适用于所有8位字节的系统;所谓Base-128编码就是使用一个字节中的低7位进行编码,因为最高有效位(第7位)的值为128,故而得名Base-128。 编码 打个比方,一个32位的unsigned int类型的数值123456789,它的二进制表示为000001110

DJ_Macros的博客 6461

Kimi K3大模型API实战:从调用到本地知识库问答系统构建

大语言模型(LLM)作为人工智能的核心技术,通过海量数据训练获得理解和生成自然语言的能力。其工作原理基于Transformer架构,通过自注意力机制捕捉长距离依赖关系。这项技术的核心价值在于能够将非结构化文本转化为可计算、可交互的智能体,极大地提升了信息处理和自动化任务的效率。在应用场景上,大模型广泛应用于智能对话、代码生成、文档总结与问答等领域。其中,国产大模型如月之暗面推出的Kimi K3,凭借其在**长文本处理**和**中文场景优化**方面的优势,为开发者提供了新的技术选项。本文将以Kimi K3为例

weixin_30694389的博客 301

简单总结Base家族

Base32将任意字符串按照字节进行切分,并将每个字节对应的二进制值(不足8比特高位补0)串联起来,按照5比特一组进行切分,并将每组二进制值转换成十进制来对应32个可打印字符中的一个。例如,它用于将图像嵌入到Adobe PDF文件中。Base64编码是使用64个可打印ASCII字符(A-Z、a-z、0-9、+、/)将任意字节序列数据编码成ASCII字符串,另有“=”符号用作后缀用途。相比Base64,Base58不使用数字"0",字母大写"O",字母大写"I",和字母小写"l",以及"+"和"/"符号。

clotten的博客 4566

Ribo-seq数据解析:从翻译效率计算到动态可视化分析

本文系统介绍了Ribo-seq(核糖体印迹测序)数据分析全流程,从核心的P-site定位、翻译效率计算,到差异翻译分析和动态可视化。重点阐述了如何利用Ribo-seq高分辨率数据揭示基因表达在翻译层面的精细调控,并提供了从数据处理到生物学解读的实用工具与避坑指南。

weixin_28559803的博客 422

波束管理 Beam Management

Beam Management in 5G NR   波束管理,是5G NR中基于信道质量来动态选择每个UE和gNB之间以什么方向和频率的波束beam来进行通信。   背景   5G NR(New Radio)支持非常高的数据速率和更低的延迟。5G NR支持FR1和FR2频段,FR1为亚6 GHz(450至6000 MHz);FR2为毫米波段(24.25 GHz至52.6 GHz)。   由于毫米波频带使用非常高的频率,因此会导致传播损耗和其他损耗。为了补偿损失,在这种频率下定向通信是必不可少的。

最忆是江南的博客 5828

Java编程规范-编码规范易于维护

Java编码规范   编写代码的规范对一个程序猿来说是比较重要的,代码写的不规范的话,二次开发的时候,别人真的就看不懂你写的代码,或者说看起来就很费劲,搞不好你也记不起来了,有一个规范看起来就会很通顺。 OOP规约 驼峰命名   类名、方法名、变量名等使用用驼峰命名,但是类名首字母必须要大写。类名如UserTest,方法名和变量名saveUser,countNumber。常量名要求全部大写。 行数...

请 端正你的态度的博客 349

DM-VIO论文精读:从‘延迟边缘化’到‘位姿图BA’,手把手拆解单目VIO性能超越双目的秘密

本文深入解析DM-VIO技术如何通过延迟边缘化和位姿图BA创新,解决单目视觉惯性里程计(VIO)的尺度不可观性问题,并在精度上超越传统双目系统。文章详细介绍了延迟边缘化的双因子图结构设计、位姿图BA的多级初始化策略,以及系统级优化带来的性能提升,为VIO研究与实践提供了重要参考。

weixin_30616969的博客 428

用Seed-Coder-8B-Base打造企业级代码辅助系统的5个步骤

本文介绍如何基于Seed-Coder-8B-Base构建私有化代码辅助系统,涵盖环境搭建、API封装、IDE插件开发、领域微调及CI/CD集成,实现安全、高效、可进化的智能编程支持。

weixin_35753291的博客 921

MVSNet (pytorch版) 搭建环境 运行dtu数据集重建 实操教程(图文并茂、超详细)

MVSNet (pytorch版) 代码注释版 下载 (注释非常详细,代码结构有所调整,使用起来更方便) 深度学习三维重建 MVSNet-ECCV-2018 (源码、pytorch版、原文+注释、译文+批注)Meshlab查看三维点云时 ,使用技巧总结。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 2938

【Proteus仿真】AT89C51单片机中断系列仿真——INT0中断控制LED小灯/INT0和INT1中断控制数码管

本文介绍了基于51单片机外部中断(INT0/INT1)的四个实践案例:1)INT0控制LED开关;2)INT0中断实现数码管计数/清零;3)INT0中断构建秒表功能(启动/暂停/清零);4)INT0/INT1双中断独立控制两组数码管计数。每个案例包含电路原理图、接线说明及完整源代码,重点演示了外部中断在硬件控制中的应用方法。附加硬件工程师笔试面试资料链接,涵盖器件知识、Multisim教程等内容,适合嵌入式学习者参考实践。(149字)

XU157303764的博客 1913

从AutoCommenter到企业级实践:LLM如何重塑编码规范审查

本文探讨了LLM(大语言模型)如何通过AutoCommenter等工具重塑企业级编码规范审查。从多语言支持到反馈闭环设计,文章详细解析了LLM在代码审查中的突破性应用,包括提升审查效率、降低误报率及适应企业规范更新。通过实战案例展示了LLM如何与现有工具协同,实现从工具到平台的进化。

weixin_33737134的博客 252

【异常】OpenClaw 项目 `fetch failed` 报错问题排查与解决方案Response interrupted: TypeError: fetch failed

针对无超时控制、异常兜底缺失导致的请求中断,封装标准化的安全请求工具,一次性解决超时控制、异常捕获、日志埋点三大问题,全项目替换原生。:将项目运行的 Node.js 版本升级至 18.x 及以上 LTS 版本,使用 Node.js 内置的稳定版。实现的网络请求环节,包括但不限于:第三方开放接口调用、内部服务接口通信、跨域资源请求、外部配置拉取等场景。:针对无法升级 Node.js 版本的存量环境,通过社区稳定兼容包替换原生。类型异常,直接造成业务请求响应中断。第二步:业务代码改造,替换原生。

奶爸的编程之路,也就一周冷个三天 368

Seed-Coder-8B-Base在物流订单系统开发中的实际效果

本文介绍了Seed-Coder-8B-Base在物流订单系统开发中的实际应用效果。该模型专为代码生成设计,支持本地部署,保障数据安全,具备高补全准确率和低延迟特性,能有效提升开发效率、降低缺陷率,并与现有工具链无缝集成,助力团队从重复劳动中解放,专注核心架构设计。

weixin_42509888的博客 893

SAP CBC 集成质量系统初始化接入实战指南

摘要 本文探讨了SAP S/4HANA Cloud Public Edition项目中质量系统的初始接入过程。质量系统并非开箱即用,而是需要经过SAP Central Business Configuration(CBC)的Scope and Organizational Structure阶段部署后才能具备完整功能。文章重点分析了几个关键环节:CBC里程碑确认的时机选择、Identity Authentication的初始管理员设置、Business Role Template的创建规范等。实施过程中需特

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1413

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Seed-Coder-8B-Base在鸿蒙HarmonyOS开发中的潜力

Seed-Coder-8B-Base是一款专为代码生成优化的本地化大模型,深度支持ArkTS与鸿蒙生态,可在开发者设备上离线运行,提供安全、可控、可定制的智能编程辅助,显著提升OpenHarmony应用开发效率。

weixin_35886636的博客 1054

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

算法标识符到OID值的转换:从人类可读字符串到二进制编码的魔法过程

OID(对象标识符)是互联网中唯一标识对象的数字编码系统,采用分层结构(如1.2.840代表ISO→美国→RSA)。其转换过程分为三步:1)将字符串分解为节点数组;2)特殊编码前两个节点(40×节点0+节点1);3)使用Base-128变长编码后续节点(最高位作续接标志)。例如,"1.2.840.113549.1.1.1"转换为十六进制2A 86 48 86 F7 0D 01 01 01。代码实现包含节点解析、变长编码和DER格式组合,严格遵循ASN.1规范,确保全球唯一性和机器可读性。

weixin_42108533的博客 651

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Java编码规范

1. 命名规约 抽象类命名使用Abstract或Base开头 异常类命名使用Exception结尾 测试类命名以它要测试的类的名称开始,以Test结尾 中括号是数组类型的一部分,数组定义如下:string[] args; POJO类中,布尔类型的变量都不要加is,否则部分框架解析会引起序列化错误 接口类中的方法和属性不要加任何修饰符号(public也不要加),保持代码的简洁性,并加上有效的Javadoc注释 对于Service和DAO层,基于SOA的理念,暴露出来的服务一定是接口,内部的实现类用Impl的

i_meteor_shower的博客 1046

Seed-Coder-8B-Base支持的API接口设计与调用示例

本文介绍Seed-Coder-8B-Base的API接口设计与调用实践,涵盖模型工作原理、RESTful接口使用、参数配置、Python调用示例及企业级部署架构。支持本地化部署,保障代码安全,提供低延迟代码补全与生成能力,适用于企业内部智能编程平台建设。

weixin_42608299的博客 297

mirrors/google-t5/t5-base常见错误解决:从CUDA问题到数据格式错误

在自然语言处理(Natural Language Processing, NLP)领域,T5(Text-to-Text Transfer Transformer)模型以其统一的文本到文本框架成为众多任务的首选工具。然而,开发者在部署和使用mirrors/google-t5/t5-base模型时,常面临各类技术障碍。本文系统梳理了从环境配置到数据处理的六大类常见错误,提供可复现的解决方案和最佳实践,...

gitblog_01094的博客 857

本地运行大模型写代码?Seed-Coder-8B-Base轻量部署亲测可行

本文介绍了如何在星图GPU平台上自动化部署Seed-Coder-8B-Base镜像,实现本地化AI代码生成功能。该轻量级8B参数模型专为编程优化,支持多语言代码补全与错误修复,显著提升开发效率,特别适合注重隐私的团队在消费级显卡上快速部署使用。

weixin_28931449的博客 196

Seed-Coder-8B-Base开箱即用:3步搞定本地代码智能补全

本文介绍了如何在星图GPU平台上自动化部署Seed-Coder-8B-Base镜像,实现本地代码智能补全功能。该8B参数的轻量级模型支持Python、Java等多种编程语言,能够为开发者提供安全、高效的代码补全建议,显著提升编程效率,特别适合企业敏感代码开发场景。

weixin_36288992的博客 62

Protobuf 学习手册——编码篇

一、编码规范 Google 官方提供了 Protobuf 的编码规范,通过遵循这些规范,可以使 Protobuf 消息定义及其相应的类保持一致并易于阅读。 Protobuf 编码规范可能随着时间推移而发生变化,对于既有项目,应当保持编码规范的一致性,而不需盲目保持最新的编码规范。但是对于全新项目,应当遵循官方的编码规范,可以点击这里查阅官方最新的编码规范。 1.1 Override 一行不超过 ...

Jitwxs 2340

mT5中文-base零样本增强模型保姆级教程:错误日志定位——OOM/timeout/JSONDecodeError排查

本文介绍了如何在星图GPU平台自动化部署全任务零样本学习-mT5分类增强版-中文-base镜像,并针对其运行中常见的OOM、超时及JSON解析错误提供排查指南。该镜像专为中文文本增强优化,可应用于智能文本生成、内容改写等场景,显著提升自然语言处理任务的效率与稳定性。

weixin_30205153的博客 366

『DNS隧道工具』— iodine

一、入坑必读 1、简介 因为 iodine(碘)的原子序数为53,这恰好是DNS端口号,故取名为iodine。 iodine基于C语言开发,分为服务端程序 iodined 和客户端程序 iodine,kali系统内置。 服务端程序 iodined 提供特定域名的DNS解析服务。当客户端请求该域名的解析,就可以建立通道连接。 支持EDNS、base32,base64,base128等多种编码规范,更......

localhost01 8981

Seed-Coder-8B-Base应用场景:如何集成到VS Code提升开发效率

本文介绍了如何在星图GPU平台上自动化部署Seed-Coder-8B-Base镜像,实现本地化代码生成功能。该镜像可集成到VS Code中,智能补全代码片段、生成单元测试及增强错误处理,显著提升开发效率。通过离线运行保障代码隐私,为开发者提供安全高效的AI编程辅助。

weixin_26854475的博客 19
上一篇: 3D网格体组成原理
下一篇: 变长浮点编码原理
xosg
xosg 领域专家: 网络协议与安全技术领域 领域专家: 网络协议与安全技术领域
博客等级 码龄9年 1987粉丝 864原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xosg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值