3.1 试析在什么情形下式3.2中不必考虑偏置项b
答案一:
偏置项b在数值上代表了自变量取0时,因变量的取值;
1.当讨论变量x对结果y的影响,不用考虑b;
2.可以用变量归一化(max-min或z-score)来消除偏置。
答案二:
线性规划的两个实例相减可以消去b,所以 可以令训练集的每一个样本减去第一个样本,然后对新的样本进行线性回归,此时就可不必考虑偏置项。(有点儿类似变量归一化的意思)。
3.2试证明,对于参数w,对率回归的目标函数是非凸的,但其对数似然函数是凸的(参数存在最优解)。
凸函数证明方法(充要条件):若f(x)在D上是半正定的,则f(x)在D上是凸函数。反之不是凸函数。
仅证明了是凸函数, 证目标函数非凸可以证明其海塞矩阵非凸即可。
3.3 编程实现对率回归,并给出西瓜数据集3.0a上的结果。
编程实现对率回归:
思路一:* 采用sklearn逻辑斯蒂回归库函数实现,通过查看混淆矩阵,绘制决策区域来查看模型分类效果(直接调用封装好的对数几率回归函数);
思路二:* 自己编程实现,从极大化似然函数出发(找损失函数),采用梯度下降法得到最优参数(求解可行最优解),然后尝试了随机梯度下降法(优化参数)来优化过程。
1.获取数据