Representation theory之稀疏编码

最新推荐文章于 2025-03-18 20:18:09 发布

Lyra717

最新推荐文章于 2025-03-18 20:18:09 发布

阅读量254

点赞数

分类专栏： Representation theory学习笔记

本文链接：https://blog.youkuaiyun.com/weixin_39328611/article/details/115080432

版权

Representation theory学习笔记专栏收录该内容

4 篇文章

订阅专栏

本文探讨了神经编码的基本概念，包括二进制活动单元的输出脉冲、频率编码以及 spike pattern 和 timing 在信息传递中的作用。重点介绍了稀疏编码的重要性，它是无监督学习的一种原则，旨在将高阶冗余转化为单一比特冗余，提高表示能力并减少干扰。此外，还讨论了稀疏编码如何增强系统的容错性和能量效率，以及在生物系统中如何实现这些特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Neural code

binay active/inactive units 产生或者不产生output
spikes

individual spike（sequence of times）
frequency coding（low number->low frequency）
spike pattern, timing(spike inter时间段，relative timing 很小，可省略)

建立binay 神经码，看每行或者每列有多少1

每一列的1有多少个->breath of tuning(grandam->1;narrow->2,broad->5)
每行有多少1-> sparseness(local; sparse;dense)
local representation:在一个stimulis下只有一个“1”回应，

First-order（single bit）redundancy in a unit

property of a single unit
最大熵为1（x=0.5），实际熵Ha
First order redundancy: $R_{b}=1-H_{a}$

High order redundancy in the code

不包含first oder富裕度
计算方式为source entropy（item累加） $H_{s}$ 减去 sum of bit entropies（unit累加）
$R_{h}=H_{s}-H_{A}$
在这里插入图片描述

稀疏编码

无监督学习的原理
尽量把high order redundancy转化为first order
时high-order regularities explicit in the code
问题是如何把word分成pieces->objects->code，内聚合外独立于其他
First-order（single bit）redundancy 很好的性质
在这里插入图片描述
有用的叫泛化没用的叫interference
sparse 的表示能力很高但没用（不会用到那么多）
sparse 对overlap is good，可提升, 如果你只是给随机参数不会好
dependent units-> high fault tolerance
生物系统用energy 你的脑子在何时active