100 行代码的压缩前缀树:50% smaller

数据结构之Radix和Trie Radix和Trie 阅读详情

本文介绍一个压缩前缀树实现的(sorted set(github:succinct.Set)区区 95 行代码,包含了一组完整的功能:

  • 用前缀树存储一个排序数组,去掉指针,压缩掉 50% 的空间;例如在本文的例子中, 存储 2.4 MB 的 200 万个单词, 只需要 1.2 MB。
  • 创建:从 key 列表创建一个压缩的前缀树;
  • 查询:支持 Has()  操作来查询 1 个 key 是否存在;
  • 优化:通过索引来加速 bitmap 的操作,将较大的 bitmap 操作优化到 O(1) 的时间开销。

loc100 分支是本文中使用的最简实现,没有任何外部依赖,main 分支中的实现面向生产环境,要快 4 倍左右。

如果要生产环境使用,移步 slim 。用 20 万个网上词汇来测试本文实现的 succinctSet:

  • succinctSet 空间开销是源数据的 57%。
  • Has() 开销为 350 ns。

原始数据大小:2204 KB 跟 string 数组的 bsearch,以及 google btree 的对比:

DataEngineSize(KB)Size/originalns/op
200kweb2bsearch5890267%229
200kweb2succinct.Set125857%356
200kweb2btree12191553%483

场景和问题

计算机中的信息,为了查询方便,几乎都是排序存储的(即使是 hash 结构,hash map 中的 hash 值也是顺序存储的)。数据存储领域,大部分数据也都是静态的,例如数据库底层的一个 page,rocksdb 的一个 sstable。数据越来越大后对存储空间的开销也越来越敏感,毕竟影响性能的主要瓶颈都在 IO 上,不论是 CPU 对主存的访问延迟,还是内存到磁盘的延迟,每 2 层之间的 IO 延迟,基本都在 1~2 个量级左右。于是更小的存储开销,不仅节省存储成本,另一个 bonus 是几乎毫无疑问的会提升性能。本文针对这一个广泛使用的场景:静态排序数据,提供一个通用的实现方法来压缩空间开销。

生产环境中使用的算法,和本文介绍的方法同源,但包括更多的优化,例如通过 SIMD 指令一次处理多个字节的比较,用 bitmap 来优化 labels 的存储,对只有一个出向 label 的节点的合并优化等。

思路:前缀树

前缀树,或字典树,prefix tree,trie,是解决这类问题的一个典型思路。例如要存储 5 个 key:[ab, abc, abcd, axy, buv] 可以建立下面这样一个前缀树,省去大量重复的前缀,其中 ^ 是 root 节点(也记做0),1, 2, 3…是 trie 节点,$标记一个叶子节点,字母 a, b... 表示一个节点到下级节点的边(labeled branch):

前缀树的压缩算法

在这个前缀树中,每个节点至多有 256 个出向 label,指向下一级节点。一个节点可以是 inner 节点,例如 root 节点 ^,或 1, 2, 3。也可以是叶子节点,例如 3, 6, 9。这里 3 既是一个 inner 节点也是一个 leaf 节点。

要压缩这个 trie,对每个 trie 节点,我们需要的最核心的信息是:

  • 一个节点的分支(label)都有哪些,
  • 以及 label 指向的节点的位置。

我们有以下这种紧凑的结构来描述这个 trie:

一个 trie 节点的出向 label 都存储在一个 []byte 中,再用一个 bitmap 来描述每个节点的分支,后面通过这个 bitmap 来定位 label 对应的节点。

先把每个节点对应的 label 列出来,并为每个 label 分配一个bit 0 来标记:

然后将所有的 label 保存在一个 []byte 中,再将对应的标记 label 的多个 0... 用 1 做分隔符连接到一起:这 2 块信息是 succinctSet 核心的 2 个字段,有了这 2 部分数据就可以实现(不算高效的)key 查找:

压缩后的查询:

在标准的 trie 中查找一个 key 很简单,在第 L 层的一个节点上,查找 key[L] 的 byte 是否是 trie 节点的一个出向 label,如果是,走到下一个节点,否则终止。例如对 axy 的查找,要经历 3 次查找,^ -a-> ① -x-> ④ -y-> ⑦ $:

在 succinctSet 中的查找也是一样,唯一不同的是如何在这个没有指针的结构中找到某个出向 label 对应的子节点。我们把 trie 原来的 label 到子节点的关系,在压缩后的结构中画出来,端详端详:

从上图可以看出,

  • 除了根节点^,每个节点都有一个 0 与之对应(节点入向 label 对应位置的0)。 图中上下箭头,是 label 到节点的关系,也就是每个 0 跟它指向的子节点的对应关系。
  • 每个节点也都有一个 1 与之一一对应,也就是每个节点都有一个结束标记 1。

例如:

  • bitmap 中 第 0 个 0 对应节点 1:bx,第 1 个 0 对应节点 2:u…
  • 同理节点与 1 的关系也类似,第 0 个 1 对应 root 节点 ^,0:ab,第 1 个 1 对应节点 1:bx,第 2 个 1 对应节点 2:u…

你品,你细品…品完后发现,要找到某个 label 指向的节点,只需要先数数这个 label 对应第几个 0,例如是第 i 个0,再找到 bitmap 中的第 i 个 1,第 i 个 1 后面就是 label 对应的节点位置了。这就是在压缩前缀树中逐层定位节点的算法。举个栗子 🌰假设从根节点开始,要查找的 key 是 axy,

  • 首先在根节点 0:ab 中找到 label a,
  • label a 对应第 0 个 0,然后找到第 0 个 1 的位置,也就是 1:bx 节点。
  • 再在 1:bx 节点的 label 中找到 label x,对应第 3 个 0,再找到第 3 个 1 的位置,也就是 4:y 的节点。
  • 在 4:y 中找到 label y,对应第 7 个 0,再找到第 7 个 1,也就是 7:ø 的节点。
  • 节点 7 没有任何 label,结束。

在 succinctSet 数据结构中画出 axy 的查询过程如下:

维护 leaf 节点:

上面介绍的查询算法还有一个问题,就是当某些 key 是其他 key 的前缀时,它对应的节点既是 inner 节点,也是 leaf 节点,这时无法通过 label 的不匹配结束查询。例如 abc 对应的节点 6:d,它本身有一个出向分支 d,是一个 inner 节点,同时也是一个 leaf 节点。

所以我们还需要额外的信息来标识所有的 leaf 节点:再建立一个 leaves 的 bitmap,它的第 i 个 bit 为 1,表示 node-id 为 i 的节点是 leaf 节点:

leaves 的检查在查询的最后一步,如果一个要查询的 key 匹配到一个 trie 中的节点,最后再检查它是否是一个 leaf 节点。

优化 bitmap 操作:

这个算法中最后还有一个问题没有解决:我们提到从 label 定位 node 的过程是: 找到一个 label 之前的 0 的个数 i,再找到第 i 个的 1 的位置。这 2 个操作都是 O(n) 的,要遍历 bitmap,最终会导致一次查询的时间效率变成 O(n²)。为了能让查询提升效率,我们需要建立 2 份额外的信息来优化这 2 个操作。第一个是找出一个 bitmap 中第 i 个 bit 之前有多少个 1(或多少个 0),对定长整数,例如一个 uint64,它的有 O(1) 的实现,例如

  • 在 cpp 里叫做 popcount [5],i.e.,count of population of ones;
  • 在 go 里面它被封装在 bits.OnesCount64() 这个函数,数数一个 uint64 里有多少个 1;
  • 一般的,叫做 rank1(i),如果要计算一个 bitmap 里有多少个 0,则是 rank0(i)。

第二个,要得到第 i 个 1 的位置的操作,叫做 select1(i)。我们现在需要为 rank1() 和 select1() 分别建立缓存:

rank:

建立一个数组 rank []int32:ranks[i] 记录 bitmap 中前 i*64 个 bit 中的 1 的数量。. 这样要计算 rank(i) 就只需要取 ranks[i/64],再用一个 O(1) 的函数调用(如 bits.OnesCount64())计算 bitmap[i:i % 64] 中的 1 的个数。例如 bitmap 中第 0 个 uint64 有 25 个 1,第 1 个 uint64 有 11 个 1,那么建立的 ranks 索引如下:[0, 25, 36]

select:

select 索引也是一个 []int32: select[i] 记录第 i*32 个 1 在 bitmap 中哪个位置。例如第 0 个 1 在第 1 个 bit,第 32 个 1 在第 67 个 bit,第 64 个 1 出现在第 126 个 bit,那么 selects 的索引就是:[1, 67, 126]:

代码实现

Set 结构定义:

有了 ranks 的索引, 找出第 i 个 bit 之前的 1(或 0)的数量就可以确定用 O(1) 时间完成;而 select 索引,可以尽可能让找出第 i 个 1 的开销趋近于 O(1);因为 selects 的 2 条索引之间可能跨越几个 uint64,取决于 bitmap 中 1 的分布。这样,整个 succinctSet 的数据结构就完整了:

我们接下来看看完整的代码逻辑:

创建 Set:

依旧以 keys = [ab, abc, abcd, axy, buv] 为例,来描述 Set 的建立,

  • 先扫描所有 keys 的第 1 列,找到 root 节点 ^ 的出向分支,有 2 个 label: a,b同时把整个 keys 列表按照前缀为 a 和前缀为 b 拆分成 2 部分,顺次放到队列尾部等待处理。.
  • 第 2 步,从队列中拿出要处理的第 2 部分:前缀为 a 的 keys,扫描这些 keys 的第 2 列,找到节点 1 的出向 label: b,x再次把前缀为 a 的集合拆分为前缀为 ab 的集合和前缀为 ax 的集合,顺次放到队列尾部等待处理。
  • 第 3 步,扫描前缀为 b 的 key 集合的第 2 列,找到 1 个出向 label u,把所有前缀为 bu 的 key 放到队列尾部等待处理。

最后直到所有队列中的元素都处理完,trie 就建立完成。最后再通过 init() 给建好的 trie 做 rank 和 select 的索引。扫描前缀的过程,也就是建立 trie 节点的顺序,按照 node-id 标识如下:

查询:

trie 的查询过程也很简单:在要查询的 key 中取出一个 byte,看它是否在当前节点的 label 中,如果不在,就可以确认 key 不在 succinctSet 中。如果在,通过之前提到的 select1(rank0(i)) 的方法走到下一个节点,继续以上步骤。当 key 中所有 byte 都检查完后,看最后是否停在一个 leaf 节点,最终确认是否匹配到一个在 Set 中存在的 key。

bitmap 的索引:

上面我们提到,从 label 定位节点的过程主要依赖于计算 bitmap 的 2 个操作:计算指定位置前有几个 1: rank0(i),以及找出第 i 个 1 的位置:select1(i)。go 里面提供了 uint64 的 rank 操作,bits.OnesCount64() 可以在 O(1) 的时间内返回一个 uint64 中被置为 1 的 bit 数。我们用它来给 bitmap 中每个 unit64 提前计算好前面有几个 1,这样在使用的时候只需要再处理最后一个 uint64 就可以了。select 的索引直接逐个计数 1 的个数,然后在个数满 32 整数倍时添加一条索引。

当我们要利用索引取第 i 个 bit 前有几个 0 时,通过 rank0(i) = i - rank1(i) 来计算:

在查找第 i 个 1 所在位置时,我们先通过 selects 索引找到一个最接近的 uint64,再向后逐个查找直到见到第 i 个 1。这一步的性能不是严格的 O(1):

性能分析

我们用网上搜集到的数据集做了下测试。测试中使用的负载模型都是 zipf 比较符合互联网的真实场景,zipf 的参数 s 取 1.5,细节参考 report 的代码,结果如下:

  • 20 万个网上词汇:原始数据大小:2204 KB跟 string 数组的 bsearch,以及 google btree 的对比:

    DataEngineSize(KB)Size/originalns/op
    200kweb2bsearch5890267%229
    200kweb2succinct.Set125857%356
    200kweb2btree12191553%483
  • succinctSet 空间开销是源数据的 57%。
  • Has() 开销为 350 ns。
  • 87 万个某站提供的 ipv4 列表:原始数据大小:6823 KB

    DataEngineSize(KB)Size/originalns/op
    870k_ip4_hexbsearch17057500%276
    870k_ip4_hexsuccinct.Set231667%496
    870k_ip4_hexbtree403881183%577
    • succinctSet 空间开销是源数据的 67%。
    • Has() 开销为 528 ns。

可以看出在内存方面:

  • succinctSet 对内存开销优势明显,不仅容量没有额外增加,还少很多。
  • go 中的 string 有 2 个字段:到 string 内容的指针,以及一个 length,所以每条记录开销会多 16 字节。
  • btree 内部因为还有 interface,额外存储开销更大。

对查询性能:

  • 短字符串查询二分查找性能最好,一个字符串读取一次差不多都能缓存在 L1 cache 里,对主存的访问应该非常趋近于 lg₂(n)。
  • succinctSet 因为每个字符串的每个字符都被分散存储了,以及 ranks 和 selects 的访问也是跳跃的,在一个 key 的查询中要访问多个位置。所以对缓存的友好不如数组。
  • btree 的时间开销更大,可能由于间接访问比较多,导致 btree 的优势没有发挥出来。

引用链接

[1] succinct.Set : GitHub - openacid/succinct at loc100

[2] slim: GitHub - openacid/slim: Surprisingly space efficient trie in Golang(11 bits/key; 100 ns/get).

[3] google btree : GitHub - google/btree: BTree provides a simple, ordered, in-memory data structure for Go programs.

[4] 前缀树: https://en.wikipedia.org/wiki/Trie

[5] popcount : std::popcount - cppreference.com

[6] zipf: 互联网中对象访问频率的91分布 - OpenACID Blog

[7] report : succinct/main.go at v0.1.0 · openacid/succinct · GitHub

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

 文章首发于公众号:Databend

 

GLM编程套餐涨价后Codex与OpenRouter实操避坑指南 大模型API调用成本优化是开发者日常工程实践的关键课题。随着GLM-5.2等中文大模型在OpenRouter、Codex等主流工具链中全面升级计费机制与错误体系,开发者亟需理解token精准计量、上下文窗口限制、模型名兼容性等底层原理。这类变化不仅影响单次请求成本,更暴露历史配置隐患,如字段名变更导致的解析失败、流式补全引发的隐性扣费、路由策略引发的错误码混淆等。掌握GLM-5.2的双维度扣减机制和OpenRouter中间件行为,可显著降低单位补全token消耗;而通过Codex配置迁移、CC-Switch 阅读详情

相关推荐

Claude Code不是AI补全工具,而是能理解项目的数字协作者

AI编程助手已从简单代码补全进化为具备项目上下文理解与工程决策能力的智能协作者。其核心原理在于基于显式上下文加载(如@-提及文件/行号)和计划驱动(Plan Mode)的深度推理机制,技术价值体现在降低跨技术栈重构风险、提升团队协作一致性与CI/CD流程可复现性。典型应用场景包括遗留系统现代化迁移、多仓库协同开发及自然语言驱动的Git工作流闭环。本文聚焦Claude Code区别于Copilot等工具的本质定位,并详解VS Code环境适配、插件Scope分层配置与MCP Server工程化集成等关键实践。

weixin_30756499的博客 498

LeetCode 单词的压缩编码(前缀树)

给定一个单词列表,我们将这个列表编码成一个索引字符串 S 与一个索引列表 A。 例如,如果这个列表是 [“time”, “me”, “bell”],我们就可以将其表示为 S = “time#bell#” 和 indexes = [0, 2, 5]。 对于每一个索引,我们可以通过从字符串 S 中索引的位置开始读取字符串,直到 “#” 结束,来恢复我们之前的单词列表。 那么成功对给定单词列表进行编码的...

hestyle的博客 7835

【信息科学与工程学】【通信工程】第五十九篇 IP网络设计01

IP网络设计不是只写ip address;它本质是的问题,所以参数天然分布在:层级例子物理/传输(可选但你会要求光路/电路)光功率/OSNR/色散/衰减/BER/FEC;铜/微波链路预算L1/L2 链路模型速率、MTU、成帧开销、串行化、传播时延、缓冲排队/调度/QoS服务曲线、令牌桶、延迟界、丢包概率近似路由/TE/可靠性流守恒、路径容量、切换/收敛时间信息论/可达性Shannon 上限、FEC 有效码率、链路容量 after overhead计算科学/数值。

weixin_49199313的博客 513

基数树简介

基数树(Radix Trie)也叫基数特里树或压缩前缀树,是一种多叉树,一种更节省空间的 Trie(前缀树)。基数树中作为唯一子结点的每个结点都与其父结点合并,每个内部结点的子结点数最多为基数树的基数 r,r 为正整数且等于2^n(n>=1)。这使得基数树更适用于对于较小的集合(尤其是字符串很长的情况下)和有很长相同前缀的字符串集合。不像一般的 Trie,基数树的边可以是一个或者多个元素。

Doublelv 的博客专栏。 2347

【信息科学与工程学】计算机科学与自动化——第二十篇 计算机体系架构 系列二 约束条件01

编号类型领域子领域问题问题的数学分析算法逐步推理思考的数学表达式及参数列表及约束方程组及参数列表及边界条件及范围关联知识1计算架构计算机体系结构指令集架构 (ISA)ISCA(指令集计算机架构)的性能分析与优化采用经典执行时间模型与Amdahl定律,结合指令级并行(ILP)和流水线效率,建立包含指令计数、CPI、时钟周期的数学关系。考虑存储层次与分支预测的影响,引入概率论与排队论分析延迟。1. 执行时间 T=N⋅CPI⋅tclk​。

weixin_49199313的博客 93

光电转换器件PMT,APD总结

PMT和APD都属于单点探测器,只能探测光子信息,可以通过扫描方式测光谱。 1. PMT PMT:光电倍增管,是光子技术器件中的一个重要产品,它是一种具有极高灵敏度和超快时间响应的光探测器件。 原理:光电倍增管是一种真空器件。它由光电发射阴极(光阴极)和聚焦电极、电子倍增极及电子收集极(阳极)等组成。当光照射到光阴极时,光阴极向真空中激发出光电子。这些光电子按聚焦极电场进入倍增系统,并通过进一步的二次发射得到的倍增放大。然后把放大后的电子用阳极收集作为信号输出。 优点:因为采用了二次发射倍增系统,.

Ammon_Zhang的博客 1万+

Golang|TrieTree & RadixTree

Golang|TrieTree & RadixTree

无限进步 403

docker部署zabbix6.2.7+grafana

docker部署zabbix6.2.7+grafana。

qq_48391148的博客 3656

查找树--RadixTree【基数树】原理图解及示例代码

基数树 概念 RadixTree:基数树,或称压缩前缀树,是一种更节省空间的Trie。 基数树是Trie的压缩版本【compact version】。 在空间利用上更有效 Trie因为通常在一条边中只存储1个字符,所以空间利用效率低下。 基数树利用了这一点,将在边中存储多个字符/文本字符串,以减少所需的额外边和节点的数量,同时仍然保持相同的表示意义和Trie的性能。 在最坏的情况下一个基数树将是一个Trie。 基数树示例如下: 树操作 插入过程 注意:如果插入的字符串和已经有边有共同的前缀,则需

penriver的博客 6372

沈阳计算机研究所复试,沈阳计算所复试试题附答案.doc

沈阳计算所复试试题附答案目录数据结构1200612007220085200914操作系统16200616200718200818200919组成原理20200620200720200821200921经典算法22数据结构2006数据结构部分(共25分,第1题10分,第2题15分)在(下图)所示的有向图中:v1 v2v4 ...

weixin_42511053的博客 867

ArcGIS中利用DEM数据生成地形图既视感的等高线;利用掩膜进行等高线注记;DEM的可视化表达总结

文章目录前言一、效果图展示二、地形(DEM)可视化表达1.一维可视化2.二维可视化2.三维可视化二、ArcGIS中利用DEM数据制作等高线2.三维可视化2.三维可视化2.三维可视化2.三维可视化二、ArcGIS中利用DEM数据制作等高线2.三维可视化2.三维可视化2.三维可视化总结 前言 最近老师布置作业:DEM的可视化表达。想做一个等高线地形图那样、看起来高级一点的等高线,可是我看网上大多数教程都只展示了【等值线】工具,做出来效果都一般。我自认为自己做出来的效果还可以,把步骤分享给大家。 一、

pink_pig__的博客 5万+

AI编排:企业级LLM应用落地的数据调度中枢

AI编排(AI Orchestration)是一种面向生产环境的工程范式,旨在弥合大语言模型与企业异构系统之间的数据断层。其核心原理是通过混合架构协同集成平台(如MuleSoft)与AI框架(如LangChain),实现安全、可观测、可治理的数据流转与语义推理。技术价值体现在连接韧性、动态脱敏、细粒度模型路由与跨模态语义融合等关键能力上,支撑销售风控、智能营销、合规文档生成等高价值场景。本文聚焦AI编排在真实企业IT栈(SAP/Salesforce/Snowflake+LLM)中的落地实践,深入解析Mule

dgoh41514的博客 499

树莓派5安装ROS2小白指南避坑攻略

手把手教你如何在树莓派5上顺利安装ROS2,避开常见问题与陷阱,提升配置效率。针对树莓派5安装ros2过程中的依赖冲突、源配置错误等高频难题提供解决方案,适合新手快速上手。

weixin_35754962的博客 1006

π0.5——推理加强的统一模型:先高层预训练离散化token自回归预测子任务、后低层执行子任务(实时去噪生成连续动作)

今天一早,朋友圈刷到π0出0.5版本了,之后,我组建的「七月具身:π0复现微调交流群」群中,也在讨论这事,并说:七月老师要更新博客了这不就来了现在具身模型的发展 还不如大语言模型那样成熟π0 发新版了,意味着和Google的RT(大概率是不更了),以及figure(没开源过)等等——还有别的一些模型 没列举全,进入了少数迭代型的具身模型的行列。

结构之法 算法之道 1万+

Bioconductor核心包(GO.db等)安装失败排查指南:从版本冲突到网络优化

本文详细解析了Bioconductor核心包(如GO.db)安装失败的常见原因及解决方案,包括版本冲突、网络问题和依赖关系。通过版本检查、镜像配置和依赖管理等方法,帮助用户高效解决安装难题,提升R语言生物信息学分析的工作效率。

weixin_29066781的博客 428

Loki 分布式日志中心服务

分布式日志中心 Loki + Promtail + Grafana

原名又逢乱世。不要放下学习的脚步,毕竟比天天打牌、钓鱼、打游戏更能从内在充实自己。 2355

Pandas merge防错实战:从数据可信度到健壮连接

Pandas merge是数据分析中最常用却最易出错的核心操作,其本质并非简单行匹配,而是涉及键值语义、空值处理、类型一致性与业务逻辑对齐的综合性数据融合过程。理解merge底层的笛卡尔积过滤机制和NaN传播规则,是规避‘行数异常’‘内存爆炸’‘幽灵NaN’等典型问题的前提;而数据可信度(Data Trustworthiness)和防御性编程理念,则决定了合并结果能否支撑下游AI建模与关键决策。本文聚焦真实业务场景中的字符串键清洗、多源ID对齐、validate参数校验、indicator调试追踪等关键技术

weixin_33924770的博客 437

电子电气架构 --- 整车电源管理

保证启动能力:防止因电池电量耗尽而导致的车辆无法启动,这对于确保车辆在任何时候都能可靠运行至关重要。 延长电池寿命:通过避免电池深度放电,有助于延长其使用寿命,减少更换电池的需求和成本。 提升用户体验:虽然负载被关闭可能会暂时影响舒适度,但通过在必要时自动采取行动,可以减少驾驶员的焦虑和不确定性,提高整体的用户满意度。

Soly_kun的博客 1088

Qwen 3.6-Max-Preview:API层上下文与多模态协议重构实战

大语言模型的上下文窗口与多模态理解能力,是企业级RAG、工业图纸分析和医疗报告生成等场景的核心瓶颈。其技术原理不仅依赖模型参数规模,更取决于API层的token调度策略、图像语义对齐机制及OpenAI兼容性深度。Qwen 3.6-Max-Preview并非传统模型升级,而是通过动态上下文管理、多角度图像特征提取(multipleangles)和响应格式熔断等协议级重构,显著提升长文档处理稳定性与结构化输出可靠性。它适用于需零改造迁移OpenAI生态、高精度解析PDF/工程图/分子结构等复杂输入的工程实践场景

weixin_30788239的博客 368

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

多智能体协同系统设计:从原理到生产级落地

多智能体协同(Multi-Agent Collaboration)是一种将复杂AI任务分解为多个专业化、可验证、可协作的智能体(Agent)共同执行的架构范式,其核心原理在于通过角色隔离、状态共享与显式工作流编排,突破单一大模型在长流程、多工具调用、高可信要求场景下的能力边界。该技术显著提升系统鲁棒性、可观测性与弹性扩展能力,具备明确的技术价值:降低幻觉累积风险、支持故障隔离与自动恢复、适配企业级SLA治理。典型应用场景包括跨境电商智能选品、客户投诉闭环处理、金融风控联合决策等需跨系统协同与审计追溯的生产环

weixin_30315905的博客 371

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

程序员的自我修养:链接、装载与库(链接)

步骤名称核心任务关键数据结构1符号解析确定哪些符号需要重定位全局符号表2重定位表确定在哪里修正、如何修正.rel.text.rel.data3重定位过程根据公式计算并写入正确地址重定位类型、计算公式。

weixin_44446626的博客 466

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Delta lake第一稿个人翻译和注释(第四章)

亚马逊S3等云对象存储是全球规模最大、最具成本效益的存储系统之一,因此成为存储大型数据仓库和数据湖的理想之选。遗憾的是,它们作为键值存储的实现使得实现ACID事务和高性能变得困难:元数据操作(如列出对象)成本高昂**(解释:对象存储在云上面list操作费用是get操作的10倍,并且抽取类似元数据次数多了,费用很贵;所以整体思想是减少list操作,有个元数据管理文件,然后从文件抽取必要文件然后采取 get操作),一致性保证也有限。

knowcai126的博客 291

数据结构:字典树(前缀树,Trie树),压缩字典树(Radix)

数据结构:字典树(前缀树,Trie树),压缩字典树(Radix)

猛犸象 1925

【redis】前缀树 trie-radix tree-rax

前缀树(trie),基数树(radix tree),redis 自适应基数树(rax tree),都是 前缀压缩树(prefix tree)的变种 ,在存储效率、查询性能、功能逐步优化。

呆呆的猫的博客 1198

gin框架httprouter路由原理

gin的路由注册采用的是httprouter。httprouter是基于radix tree实现的前缀匹配。其路由的原理是大量使用公共前缀的树结构,具有公共前缀的节点也共享一个公共父节点。每一种http方法一个 radix tree,这样可以提高匹配效率;

sre救赎之路 1430

单词的压缩编码--前缀树的灵活运用

0x01.问题 给定一个单词列表,我们将这个列表编码成一个索引字符串 S 与一个索引列表 A。 例如,如果这个列表是 ["time", "me", "bell"],我们就可以将其表示为 S = "time#bell#" 和 indexes = [0, 2, 5]。 对于每一个索引,我们可以通过从字符串 S 中索引的位置开始读取字符串,直到 "#" 结束,来恢复我们之前的单词列表。 那么成功对给定...

ATFWUS的博客 1138
上一篇: 如何对 Databend 进行基准测试
下一篇: Rust 并发安全相关的几个概念(上)
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值