ferb的语音识别学习小站

placeholder 占位符 相当于形参 没有具体值x = tf.placeholder(tf.float32, shape=(N, D))assign幅值函数 改变参数值后依然保存new_w1 = w1.assign(w1-learning_rate * grad_w1)#后面没出现new_w1，但是w1一直在更（后面session里要run）group仿制节点 减少CPU...

optimization 优化 http://cs231n.github.io/optimization-1/ 优化是查找使损失函数最小化的一组参数WWW的过程。找到能够最小化损失函数值的WWW。损失函数（loss function），它是用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题，在最优化过程中，将通过更新评分函数的参数来最小化损失函数值。...

对于图像，每个像素都被认为是一个特征。一个单独的矩阵乘法Wx_i就高效地并行评估10个不同的分类器（每个分类器针对一个分类），其中每个类的分类器就是W的一个行向量。既然定义每个分类类别的分值是权重和图像的矩阵乘，那么每个分类类别的分数就是这个空间中的一个线性函数的函数值。 所以最后是一个函数，就不用训练集了。 https://zhuanlan.zhihu.com/p/2094...

knn程序http://cs231n.github.io/classification/ L1 distance d1(I1,I2)=∑p|Ip1−Ip2|def predict(self, X):""" X is N x D where each row is an example we wish to predict label for """num_test ...

https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit反向传播 梯度（偏导数） 函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度。先考虑一个简单的二元乘法函数f(x,y)=xy。对两个输入变量分别求偏导数还是很简单的： f(x,y)=xy→dfdx=ydfdy=xf(x,y)=xy→dfdx=yd...

7.1 更好的优化随机梯度下降（SGD）：在每次迭代中，选取一小部分训练样本，成为minibatch（小批量），用minibatch来估算误差总和L(W)和实际梯度wL(W).这种选取是随机的，当做对真实值期望的蒙特卡洛估计。SGD存在的问题： 鞍点：既不是极大值点也不是极小值点的临界点 噪声项。。优化算法：使网络更快收敛SGD动量法： 加入动量项 vtvtv_t初始化...

https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit卷积神经网络的结构基于一个假设，即输入数据是图像。 在CIFAR-10中，图像的尺寸是32x32x3（宽高均为32像素，3个颜色通道），因此，对应的的常规神经网络的第一个隐层中，每一个单独的全连接神经元就有32x32x3=3072个权重。（一个神经元就有很多权重，第一...

https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit神经网络就是进行了一系列的线性映射与非线性激活函数交织的运算。本节将讨论更多的算法设计选项，比如数据预处理，权重初始化和损失函数。数据预处理关于数据预处理我们有3个常用的符号，数据矩阵X，假设其尺寸是[N x D]（N是数据样本的数量，D是数据的维度）。...

https://zhuanlan.zhihu.com/p/21741716?refer=intelligentunit梯度检查使用少量数据点。解决上面的不可导点问题的一个办法是使用更少的数据点。因为含有不可导点的损失函数(例如：因为使用了ReLU或者边缘损失等函数)的数据点越少，不可导点就越少，所以在计算有限差值近似时越过不可导点的几率就越小。还有，如果你的梯度检查对2-3个数...

神经网络算法计算公式是 s=W2max(0,W1x)s=W2max(0,W1x)s=W_2max(0,W_1x)其中W_1的含义是这样的：举个例子来说，它可以是一个[100x3072]的矩阵，其作用是将图像转化为一个100维的过渡向量。函数max(0,-)是非线性的，它会作用到每个元素。这个非线性函数有多种选择，后续将会学到。但这个形式是一个最常用的选择，它就是简单地设置阈值，将所有小于0的值变成...