参考文献(清华大学吴华强课题组)
Zhang, Wenbin, et al. “Edge learning using a fully integrated neuro-inspired memristor chip.” Science 381.6663 (2023): 1205-1211.


STELLAR更新算法原理
在权值更新阶段,只需根据输入、输出和误差的符号计算权值更新方向。此外,该算法预先定义了一个阈值,在计算误差符号时过滤掉小误差信号,并通过避免过于敏感和不必要的更新。省略掉小更新信号后,在STELLAR更新方案下基于忆阻器的梯度向量可以更接近地近似标准BP梯度向量。设定的阈值是硬件可重构的,以适应各种学习任务。STELLAR算法取决于权重更新的方向,将对应的相同SET和RESET脉冲施加到忆阻器单元。
前向传播(inference)

对每个输入向量执行权重更新。该学习算法以网络输出和目标的损失函数最小为目标,对电导进行最优更新。
反向传播——损失函数(平方损失函数)

反向传播——权重更新量(基于阈值性方向)


C1,C2C_1,C_2C1

文章介绍了清华大学吴华强课题组研发的基于忆阻器的边缘学习方法,STELLAR算法利用阈值优化权重更新,适应非理想器件特性。研究涵盖了权值更新、前向传播、反向传播及硬件实现,包括电路能耗分析和优化的编程方案。
最低0.47元/天 解锁文章
827

被折叠的 条评论
为什么被折叠?



