【吃瓜训练营】 西瓜书第三章 3.1 3.2 南瓜书第三章 3.1 3.2

任务：一元线性回归与多元线性回归

预习西瓜书3.1 3.2

西瓜书

3.1 基本形式

基本形式

• 线性模型形式简单，易于建模，蕴含菏泽机器学习中一些重要的基本思想。
• 线性模型有很好的可解释性（可理解性）：w直观表达了各属性在预测中的重要性

3.2 线性回归

• 线性回归：试图学得一个线性模型以尽可能准确地预测实值输出标记
• 离散属性
  属性值间存在“序”关系，可通过连续化将其转化为连续值。例如：身高的取值“高”“中”“矮”可以转化为「1.0，0.5，0.0」
  若不存在“序”关系，假设有k个属性值，通常转化为k维向量。例如：瓜类有西瓜，南瓜，黄瓜，可以转化为（0，0，1），（0，1，0），（1，0，0）

基本形式

• 均方差（平方损失）：回归任务中最常用的性能度量
  对应常用的欧几里得距离（又称欧式距离）

均方差，w*和b*表示w和b的解
均方差为所有点的绿线距离之和的平方，是线性回归，y和y‘之间的差距是预测误差
蓝线为正交回归

• 最小二乘法：基于均方差最小化来进行模型求解的方法为最小二乘法
  在线性回归中，最小二乘法就是试图找到一条直线，使所有样本在直线上的欧式距离之和最小

• 线性回归模型的最小二乘“参数估计”：求解w和b使均方差最小化的过程

多元线性回归

• 正则化项：用来选择多个解中哪个解作为输出

对数线性回归: 示例所对应的输出标记是在指数尺度上变化，将输出标记的对数作为线性模型逼近的目标

广义线性模型：g(.)连续且充分光滑，为联系函数

南瓜书第三章

3.1 一元线性回归

• 极大似然估计：用于估计概率分布的参数值。找到使得观测样本出现概率最大的分布，就是待求分布

拓展阅读：正态分布的前世今生 靳志辉
https://cosx.org/2013/01/story-of-normal-distribution-1/

• 凸函数的定义与高数中的定义相反
• 半正定矩阵判定定理：若实对称矩阵的所有顺序主子式均为非负，则该矩阵为半正定矩阵
• 凸充分性定理：若f为凸函数，f(x)一阶连续可微，则x*是全局解的充分必要条件是梯度f(x*)=0

解决问题一：公式3.7的推导

• 先计算b的值得到3.8，再对b进行简化：
  简化

• 把上面的b值带入w的偏导数等于零的式子里得到：

• 再稍加推导即可得到公式3.7
  
• 由于求和所写代码需要许多for循环，这样复杂度太大，所以写成向量形式更好，可以使用numpy
• w的向量化，见南瓜书3.7后半部分的向量化。
  

https://datawhalechina.github.io/pumpkin-book/#/chapter3/chapter3?id=_37

机器学习三要素

• 模型：根据具体问题，确定假设空间（类似结果所符合的分布）例如：f(x)=wx+b
• 策略：根据评价标准，确定选取最优模型的策略（通常会产生一个损失函数 例如：均方差）
• 算法：求解损失函数，确定最优模型