u011898542的博客

Krylov方法是一种 “降维打击” 手段，有利有弊。其特点一是牺牲了精度换取了速度，二是在没有办法求解大型稀疏矩阵时，他给出了一种办法，虽然不精确。假设你有一个线性方程组：Ax=b其中A是已知矩阵，b是已知向量，x是需要求解的未知向量。当你有这么个问题需要解决时，一般的思路是直接求A的逆矩阵，然后x就出来了：x=A^{-1}b但是，如果A的维度很高，比方说1000*1000的矩...

二、Maxout算法流程1、算法概述开始前我们先讲解什么叫maxout networks，等我们明白了什么叫maxout 网络后，再对maxout的相理论意义做出解释。Maxout是深度学习网络中的一层网络，就像池化层、卷积层一样等，我们可以把maxout 看成是网络的激活函数层，这个后面再讲解，本部分我们要先知道什么是maxout。我们假设网络某一层的输入特征向量为：X=（x1,x2,…...

sigmoid和其导数的函数图像tanh图像relu函数图像maxout函数

深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学...

在机器学习中，许多策略被显式地设计来减少训练误差（可能也会以增大训练误差为代价）。这些策略被统称为正则化。现在我们回顾几种策略，以创建这些正则化地大型深度模型。1、参数范数惩罚通过添加参数范数惩罚，限制模型的学习能力其中是权衡惩罚项和标准目标函数相对贡献的超参数。我们通常只对权重做惩罚而不对偏置做正则惩罚参数正则化通常又被称为权重衰减。在其他学术圈，也被称为...

机器学习中的优化1、经验风险最小化机器学习算法的目标是降低目标函数的期望泛化误差，这个数据被称为风险将机器学习问题转化为一个优化问题的最简单方法是最小化训练集上的期望损失。这意味着用训练集上的经验分布替代真实分布。现在，我们将最小化经验风险：m表示训练样本的数目基于最小化这种平均训练误差的训练过程被称为经验风险最小化（容易导致过拟合）2、代理损失函数和提前终...

自己随便乱粘的，自用1、logloss对数损失函数对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网络,以及一些期望极大算法的变体. 可用于评估分类器的概率输出.　　对数损...