- 博客(2)
- 收藏
- 关注
RSS订阅原创 梯度下降算法及其改进方法详解
梯度下降算法及其改进方法详解1. 前提1.1 成本函数设计完神经网络结构之后，接下来就要设计神经网络的学习算法。假设向量X\textbf{X}为神经网络的输入向量，向量Y\textbf{Y}为神经网络的输出向量，向量A\textbf{A}为实际输出。我们算法的目的是使实际输出尽可能等于期望输出。为了量化算法的好坏，我们定义一个损耗函数(cost function)： C(w,b)≡12n∑i=1
2017-02-08 17:19:49
12042
翻译 ADADELTA- AN ADAPTIVE LEARNING RATE METHOD
ADADELTA：一种学习率自调整方法摘要 针对梯度下降算法提出了一种新型的适用于高维情况下学习率设置方法，称之为ADADELTA。这种方法仅仅使用一阶导数信息，具有良好的动态适应性，并且与原始随机梯度下降算法相比具有更小的计算开销。这种方法不需要人工调节学习率而且对噪声梯度信息、不同模型结构、不同的数据模式以及超参数（某个参数是随机变量时，该参数的分布中的参数就是超参数，即参数的参数）的选择表现出
2017-02-06 16:57:21
1721
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人