linlinle的博客

梯度下降 梯度下降实现最小化: 随机获取一个起点 重复计算下面公式直到收敛: 同步更新参数： 面临问题：局部最小值，鞍点 动量 为迭代公式加上动量项，动量积累了之前的梯度权重更新值：、 动量项积累之前的梯度信息，保持惯性，避免来回震荡，加快收敛速度 自适应梯度（Adaptive Gradient） 是第t次迭代时的参数梯度向量，为防止除0操作： ...

自助采样法 给定包含m 个样本的数据集D ， 我们对它进行采样产生数据集D': 每次随机从D 中挑选一个样本将其拷贝放入D' 再将该样本放回初始数据集D 中，使得该样本在下次采样时仍有可能被采到; 这个过程重复执行m 次,我们就得到了包含m个样本的数据集D' 通过自助来样，初始数据集D 中约有36.8% 的样本未出现在采样数据集D'中.于是我们可将D' 用作训练集，用作测试集;这样我...

整体把握 大多数提升方法是改变训练数据的概率分布(权值分布). 提高前一轮被错误分类的样本的权重,降低正确分类样本的权重;对于无法接受带权样本的基学习器,可以采用“重采样” 加权多数表决,加大分类误差小的弱分类器权重 算法流程 输入:训练数据集D, 输出:最终分类器G(x) 1.初始化训练数据的权值分布:  2.对M = 1,2,...,m (a)使用具有权值分布的训练数据集学习,...

总体把握 关键词:类条件概率密度/似然(likelihood),贝叶斯决策论,极大似然估计,属性条件独立性假设 判别概率/后验概率  =>>  先验概率+类条件概率密度  =>> 概率密度估计(最大似然准则) =>> 属性条件独立 判别式模型:给定x,通过直接建模来预测c,如决策树,神经网络,SVM 生成式模型:给定x,先对联合概率分布建模,然后由此获得...

总体把握 给定d个属性描述的示例，其中为x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数,许多非线性模型(nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射获得. 一.Linear regression 线性回归致力于, 均方误差是回归任务中最常用的性能度量. 基于均方误差最小化来进行模型求解的方法称为“最小二乘法”,线性回...

均方误差与平均绝对误差 均方误差：     平均绝对误差： 相对于MAE计算损失，MSE对异常点赋更大的权重。MSE寻找平均值，MAE寻找是中位数，对异常点而言，中位数比平均值更鲁棒性 MAE更新梯度始终相同，很小损失值也具有较大梯度，解决方法是降低损失同时降低学习率 MSE使用固定学习率也可以收敛，其梯度与损失值成正比 若需要异常点检测，选用MSE，如果把异常点当作受损函数，则用MAE ...