qq_36134318的博客

一.梯度下降法：    1.梯度的由来：        射线L的方向余弦是，二元函数沿着这个射线，自变量变化为;        方向导数是这个函数沿着这个方向的变化率，它的方向导数为：               沿着各个方向，二元函数始终有一个方向导数，它的大小决定这个函数的变化率        上式可以写成两个向量的乘积：                由于 是单位向量，所以当和  方向相同时...

一.基本过程：    直接附上培训课程ppt截图：    1.            线性回归不能解决，分类问题，即Y=1,2,3,时，数值大小没有意义的情况；        2.                      解释：是有规律的，看做一个constant值，是现实中的样本，具有随机性；所以他们直接的差服从高斯分布；                3.运算：               ...

正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的...

一.二项logistic回归模型：  1.  现有样本x，它的预测值为0或1，预测为1的概率为p，使事件的对数几率；    等于x的线性模型预测值：         ，这样得到   ;    这个函数称为logistic函数；图像如下：            线性函数的值接近正无穷，概率值接近1；线性函数的值接近负无穷，概率值接近0；    这个模型就是logistic模型；        对于二...