基于梯度下降原理的电控神经形态器件电导分配结论-优快云博客

本文探讨了基于梯度下降原理的电控神经形态器件电导分配策略，通过链式法则推导得出电导分配原则，并通过特解检验验证了在归一化电导模式下的一种特解。文章强调了差分对在神经突触权重编码中的重要性，并提出了超参数调整的方法。

原创声明——本文所有推导过程与结论均由本人原创，转载或引用必须经过本人允许，否则一律视为抄袭和学术剽窃的行为，并承担法律责任！

在这里插入图片描述

先放结论

对于存在多阻态特性的栅极激励的三端器件和电脉冲激励的二端器件（例如：CIPS/CBPS/CVPS等），根据欧姆定律及阻态的非负性的限制，神经突触的权重必须依靠一对器件来实现其功能，通常采用差分对进行编码，如下式所示。
$W=G+−G−Gmax⁡−Gmin⁡W=\frac{G^{+}-G^{-}}{G_{\max }-G_{\min }}$
反向传播阶段，目前主要应用的算法是基于损失函数梯度下降的策略，每一次iteration的更新计算模型为：
$ΔW=−η⋅∂L∂W\Delta W=-\eta\cdot \frac{\partial L}{\partial W}$
根据电导编码规则，任一突触的权重的更新必定伴随一对器件的阻态变换，这种变换机制存在无穷多个解，因此对于电导分配的策略是当前神经形态电路的一个问题，在之前报道的研究中，已经有人尝试过crossbar结构中额外配置Ref. column来实现负权值的编码与准连续多态扩容，至于需要采取辅助column或差分对的来保证负权值区间的存在性。这是与光电子器件中利用双极性响应度的编码方式有所不同的，而后者的局限性在于输入信号必须采用稳定且带宽较窄的单色光，而在其他模态输入的情景下，这种器件无法有效地感知输入。

链式法则推导电导分配策略

当阻态分布足够多时，我们认为器件的多态特性是准连续的，为了便于计算，我们可以将电导随脉冲激励产生的阻态变换是一个连续的过程，因此权重-电导正交空间可看作是连续的。对于连续函数 $W(G^+,G^-)$ ，假设电导分配规则为：
$ΔG+=−η+⋅∂L∂G+\Delta G^{+}=-\eta^{+}\cdot \frac{\partial L}{\partial G^{+}}$
$ΔG−=−η−⋅∂L∂G−\Delta G^{-}=-\eta^{-}\cdot \frac{\partial L}{\partial G^{-}}$
根据链式法则，满足：
$∂L∂G+=∂L∂W×∂W∂G+\frac{\partial L}{\partial G^+}=\frac{\partial L}{\partial W}\times \frac{\partial W}{\partial G^+}$
对于负端 $G^-$ 同理。显然，等式右边的第二个偏导的结果是常数，满足：
$∂W∂G+=1Gmax−Gmin\frac{\partial W}{\partial G^+}=\frac{1}{G_{\text{max}}-G_{\text{min}}}$
$∂W∂G−=−1Gmax−Gmin\frac{\partial W}{\partial G^-}=-\frac{1}{G_{\text{max}}-G_{\text{min}}}$