theano中对adadelta的实现

最新推荐文章于 2024-10-08 13:30:00 发布

silence1214

最新推荐文章于 2024-10-08 13:30:00 发布

阅读量3.1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/silence1214/article/details/44974819

本文详细介绍了AdaDelta优化算法的工作原理及其Theano实现过程。通过伪代码解释了AdaDelta如何利用滑动窗口来动态调整学习率，并给出了具体的Theano代码实现，帮助读者深入理解这一优化算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最开始不太会写，后来发现自己给写错了。先给出adadelta的伪代码

egs(t+1) = rho*egs(t) + (1-rho)*grad(t+1)**2

delta(t+1) =sqrt(exs(t)**2 + epsilon)/sqrt(egs(t+1)**2 + epsilon)*(-grad(t+1))

exs(t+1) = rho*esx(t) + (1-rho)*delta(t+1)**2

w(t+1)=w(t)+delta(t+1)

下面给出theano的代码，假定参数全部都是params中，导数是param_grads

  rho = 0.95
    epsilon = 1e-6
    egs = [(theano.shared(numpy.asarray(numpy.zeros(param.get_value().shape), theano.config.floatX))) for param in params]
    exs = [(theano.shared(numpy.asarray(numpy.zeros(param.get_value().shape), theano.config.floatX))) for param in params]
    new_egs = [(rho*eg + (1-rho)*g**2) for eg, g in zip(egs, param_grads)]
    delta_x = [(T.sqrt(ex+epsilon)/T.sqrt(new_eg+epsilon)*(-g)) for ex, new_eg, g in zip(exs, new_egs, param_grads)]
    new_exs = [(rho*ex + (1-rho)*dx**2) for ex, dx in zip(exs, delta_x) ]
    new_params = [(p + dx) for p, dx in zip(mlp.params, 
    updates = zip(egs, new_egs) +  zip(exs, new_exs) + zip(params, new_params)