qq_41558341的博客

机器学习笔记(一)谨以此记录自己的学习笔记，小结以及心得。1.RegressionRegression分为三个步骤建立模型评价函数的优劣(从Function set中找出best function)用训练集输入模型，评价函数的优劣，找出最好的函数（其中评价函数的好坏用损失函数（Loss function，以下简称L）的数值来评分。）求最小损失函数的方法之一：梯度下降法（Gradi...

机器学习笔记（二）1.误差的来源测试集上的误差来源于bias和variance样本值的均值不等于总体分布的均值，其期望为总体分布的均值：2.样本值的样本方差的期望与总体方差不一致：2.减少误差的方法随着采样数量N的增加，两者会愈发接近。估测f的中心点为bias，分散程度为variance。bias和variance造成的影响越简单的模型受采样数据的影响也就越小。...

1.梯度下降（Gradient Descent）在求解使得损失函数（L:loss function）最小的过程中，使用到了梯度下降，即：若参数有两个维度，则两个维度的不同的参数按以下得到：其中：下一次的梯度移动方向为前一次梯度方向的反方向：对于梯度下降的三个建议调整 learning rate不同的学习率，LOSS随着参数更新的变化情况不一样：适应性地调整learn...

1.分类（Classification）预测种类举例：损失函数为冲击函数之和：如果将分类问题当做回归问题求解，就会遇到问题：回归的分界线会向远大于1的点偏移，使得那些人离1近一点。生成模型由贝叶斯公式求得蓝圈属于B1的概率。类似两类中，x属于其中一类的概率如下：两种类别占总数的数量被称为先验概率（prior probality）：现取样到一只pokemon，其属于水系的...

逻辑回归（Logistc Regression）Step1：模型评价模型训练集的标签共有两类，f表示x属于第一类的概率:Likelihood如下：使得L最大，即让-lnL最小，将左边写成右边的形式，-lnL即为两个伯努利分布的交叉熵（cross entropy）。找出最佳函数-lnL(w,b)对w求偏导，以梯度下降的方式更新w：这与损失函数为平方差之和时得到...

Backpropagation(反向传播)对神经网络进行梯度下降求解时要用到bp算法。目的在于更有效率。这里要计算Loss function对w的偏微分。分成两个部分，前一部分计算z对w的偏微分，与w相连的输入x是多少，其偏微分就是多少。下面考虑后者：拆成两个部分，sigmoid function（a）对z的微分可以求得，只剩L对a的微分。拆成两个部分，假设后者知道。由得...

深度学习简介深度学习三个步骤1.构建神经元的组合构造就是完成第一步：建立模型有一个常用的组合方式，完全连接前馈网络：输入层，隐含层和输出层，将每层的单位成为神经元。2.评价模型，计算交叉熵对所有训练集的交叉熵求和，找出使之最小的参数。3.找出最佳模型，仍然使用梯度下降的方法...