（七）线性回归

假定一个银行贷款系统 根据 工资 和年龄 这两个特征，预测核定应给客户多少额度的贷款（label为具体的值），银行所要预测的是个具体值，这就是所谓的回归问题。之前所说的决策树就是分类问题

样本	工资 $x_1$	年龄 $x_2$	可贷款额度 $h_\theta(x)$
1	3000	22	19000
2	8000	31	70000
3	5000	29	34000
4	7500	35	51000
5	12000	40	84000

• 其中$x_1$ 与 $x_2$ 分别有多大影响，此时我们就需要定义一组权重参数 $\theta_1$ , $\theta_2$,依此俩个参数来判别 $x_1$ 与 $x_2$ 各自的影响有多大，此处将假定一个 特征$x_0$ = 1 ，对于每个实例来说都是1，此时 $\theta_0 x_0 = \theta_0$

$$h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2$$

• 其中 $h_\theta(x)$ 就是这个例子要预测的贷款额度，由此可将如上线性回归式子转化为如下式子

$$h_\theta(x) = \sum_{i=0}^{N}\theta_ix_i=\theta^Tx$$

• 将该回归方程化简为一个列向量$\theta$的转置 乘以 一个列向量 x ,即一个行向量乘以一个列向量乘积，得到一个具体的值，由此得出$h_\theta(x)$

线性回归误差原理推到

• 没有什么是尽善尽美的，包括$h_\theta(x)$，只有此时此刻的你努力的将其误差降到最低

• 此时，根据计算出的预测值$\theta^Tx^{(i)}$ 与真实值 $y^{(i)}$值间的误差 $\epsilon^{(i)}$

y(i)=θT