【吃瓜教程】周志华机器学习西瓜书第三章答案

线性模型结构梳理

3.1 试析在什么情形下式3.2中不必考虑偏置项b

答案一：

偏置项b在数值上代表了自变量取0时，因变量的取值；

1.当讨论变量x对结果y的影响，不用考虑b；
2.可以用变量归一化（max-min或z-score）来消除偏置。

 答案二：

线性规划的两个实例相减可以消去b，所以 可以令训练集的每一个样本减去第一个样本，然后对新的样本进行线性回归，此时就可不必考虑偏置项。（有点儿类似变量归一化的意思）。 

3.2试证明，对于参数w，对率回归的目标函数是非凸的，但其对数似然函数是凸的（参数存在最优解）。 

凸函数证明方法（充要条件）：若f(x)在D上是半正定的，则f(x)在D上是凸函数。反之不是凸函数。

仅证明了是凸函数， 证目标函数非凸可以证明其海塞矩阵非凸即可。

3.3 编程实现对率回归，并给出西瓜数据集3.0a上的结果。 

编程实现对率回归：
思路一：* 采用sklearn逻辑斯蒂回归库函数实现，通过查看混淆矩阵，绘制决策区域来查看模型分类效果（直接调用封装好的对数几率回归函数）；
思路二：* 自己编程实现，从极大化似然函数出发（找损失函数），采用梯度下降法得到最优参数（求解可行最优解），然后尝试了随机梯度下降法（优化参数）来优化过程。

1.获取数据