周志华《机器学习》读书笔记（2）

第三章 线性模型

1. 给定由d个属性描述的示例 $\boldsymbol x = (x_1; x_2;... ; x_d)$，其中$x_i$是$\boldsymbol x$在第$i$个属性上的取值。线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即

   $$f(\boldsymbol x) = w_1x_1+w_2x_2+...+w_dx_d+b$$
   一般用向量形式写成
   $$f(\boldsymbol x) = \boldsymbol w^T \boldsymbol x + b$$
   其中$\boldsymbol w = (w_1; w_2;... ; w_d)$，$w和b学得之后，模型就得以确定$。

   线性模型有很好得解析性，例如在西瓜问题中学得$f_{好瓜}(\boldsymbol x)=0.2 \cdot x_{色泽} + 0.5 \cdot x_{根蒂} + 0.3\cdot x_{敲声} + 1$，则意味着可通过综合考虑色泽、根蒂和敲声来判断瓜好不好，其中根蒂最重要，而敲声比色泽更重要。

2. 线性回归。
   

   • 给定数据集$D = \{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), (\boldsymbol x_3, y_3), ..., (\boldsymbol x_m, y_m)\}$，其中$\boldsymbol x_i = (x_{i1}; x_{i2}; x_{i3}; ...; x_{id})，y_i \in \mathbb R$，线性回归试图学得一个线性模型以尽可能准确的预测实值输出标记。
   • 我们考虑一种最简单的标记：输入属性的数目只有一个。此时我们忽略关于属性的下标，即$D=\{x_i, y_i\}^m_{i=1}$。
   • 对离散属性，如果属性间存在“序”（order）关系，可通过连续化将其转化为连续值，例如身高中的“高”、“矮”，可转化为$\{1.0, 0.0\}$。三值属性“高度”的取值“高”、“中”、“低”。可转化为k维向量，例如属性“瓜类”中的取值“西瓜”、“南瓜”“黄瓜”可转化为$(0, 0, 1), (0, 1, 0), (1, 0, 0)$
     

   若将无序属性连续化，则会不恰当的引入序关系，对后续处理如距离计算等造成误导。

3. 线性回归试图学得 $$f(\boldsymbol x_i) = wx_i + b$$ ，使得 $$f(\boldsymbol x_i) \simeq \boldsymbol y_i$$

4. $$(w^*, b^*)=\mathop{\arg\min}_{(w, b)} \sum_{i=1}^m(f(x_i)-y_i)^2=\mathop{\arg\min}_{(w, b)} \sum_{i=1}^m(y_i-wx_i-b)^2$$