linlinle的博客

梯度下降梯度下降实现最小化:随机获取一个起点 重复计算下面公式直到收敛:同步更新参数：面临问题：局部最小值，鞍点动量为迭代公式加上动量项，动量积累了之前的梯度权重更新值：、动量项积累之前的梯度信息，保持惯性，避免来回震荡，加快收敛速度自适应梯度（Adaptive Gradient）是第t次迭代时的参数梯度向量，为防止除0操作：...

自助采样法给定包含m 个样本的数据集D ， 我们对它进行采样产生数据集D':每次随机从D 中挑选一个样本将其拷贝放入D' 再将该样本放回初始数据集D 中，使得该样本在下次采样时仍有可能被采到; 这个过程重复执行m 次,我们就得到了包含m个样本的数据集D'通过自助来样，初始数据集D 中约有36.8% 的样本未出现在采样数据集D'中.于是我们可将D' 用作训练集，用作测试集;这样我...

整体把握大多数提升方法是改变训练数据的概率分布(权值分布).提高前一轮被错误分类的样本的权重,降低正确分类样本的权重;对于无法接受带权样本的基学习器,可以采用“重采样” 加权多数表决,加大分类误差小的弱分类器权重算法流程输入:训练数据集D,输出:最终分类器G(x)1.初始化训练数据的权值分布:  2.对M = 1,2,...,m(a)使用具有权值分布的训练数据集学习,...

总体把握关键词:类条件概率密度/似然(likelihood),贝叶斯决策论,极大似然估计,属性条件独立性假设判别概率/后验概率  =>>  先验概率+类条件概率密度  =>> 概率密度估计(最大似然准则) =>> 属性条件独立判别式模型:给定x,通过直接建模来预测c,如决策树,神经网络,SVM生成式模型:给定x,先对联合概率分布建模,然后由此获得...

总体把握给定d个属性描述的示例，其中为x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数,许多非线性模型(nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射获得.一.Linear regression线性回归致力于, 均方误差是回归任务中最常用的性能度量.基于均方误差最小化来进行模型求解的方法称为“最小二乘法”,线性回...

均方误差与平均绝对误差均方误差：     平均绝对误差：相对于MAE计算损失，MSE对异常点赋更大的权重。MSE寻找平均值，MAE寻找是中位数，对异常点而言，中位数比平均值更鲁棒性 MAE更新梯度始终相同，很小损失值也具有较大梯度，解决方法是降低损失同时降低学习率 MSE使用固定学习率也可以收敛，其梯度与损失值成正比若需要异常点检测，选用MSE，如果把异常点当作受损函数，则用MAE...