机器学习（一） --- 线性回归和logistic回归

一、机器学习的两种定义？

答： 1. Arthur Samuel ：“the field of study that gives computers the ability to learn without being explicitly programmed.”

         2.Tom Mitchell ： “A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.”

 

二、机器学习的两大类问题？

答： 监督学习与非监督学习。

 

三、代价函数？目标函数？

答： 代价函数： 

   目标函数：

 

四、偏导数？梯度下降公式？

答： 偏导数： 

矩阵写法的偏导数: 

梯度下降的公式：

 

五、特征缩放的目的？

答：特征缩放的公式为（x - u) / s；u表示均值，s表示标准差。

或者可以使用（x - min) / (max - min)，将数据缩放到（0，1）之间。

目的是保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。

 

六、学习速率对学习算法的影响？

答：学习速率过小会使算法收敛的速度太慢；过大可能会出现波动与震荡，造成每一代更新并不能是代价函数减小。

 

七、正规方程解法的推导与公式？

答：机器学习之正规方程法推导

不可逆的原因有两个，两个特征相关，或者样本数小于特征数。

 

八、logsitic回归的代价函数？

答： sigmoid函数

代价函数：

 

九、另外三种梯度下降的算法？

答："Conjugate gradient", "BFGS", and "L-BFGS" 。（原理还未学习掌握）

 

十、fminunc的学习？

 

十一、解决过拟合的办法？

答：1.减少特征的数量；2.正则化。

正则化公式的更改：

注意theta是从1开始，而不是从0开始的。