03、线性回归模型（多个参数）——Linear Regression with Multiple Variables

03、线性回归模型（多个参数）——Linear Regression with Multiple Variables

多个参数（Multiple features）:

x_j：第j个特征（jth feature），在数据集上表示为一列；j ≤ n。

n：表示特征（feature）的个数（number of features）；

$\vec{x}$⁽ⁱ⁾：表示第i个训练实例的特征向量（在数据集上体现为一行）；（feature of ith training example）

$x_j^i$:表示第i个训练实例的第j个特征的值。（value of feature j in ith training example）。

---

模型（Model）：

一个参数的模型：

Previously: f_w,b(x) = wx + b

当前的模型：

f($\vec{x}$) = $\vec{w}\cdot \vec{x}+b$ = w₁x₁ + w₂x₂ + … + w_nx_n + b

可以看到，现在的区别主要在于，一个参数的时候，我们是标量的乘积，在多个参数时，我们现在时向量的点乘（dot product）

---

向量化（Vectorization）：

为什么要进行向量化呢？这能帮我们提高运行速率。

当我们没有向量化的时候，我们计算f，需要写一个循环，然后一遍一遍得累加w[j]x[j]；

而当我们进行向量化后呢，我们可以直接运行点乘，是一个并行计算，效率会高很多。

w = ap.array([1.0, 2.5, -3.3])
b = 4
x = np.array([10, 20, 30])
# f = 0
# for j in rang(0,n):
# 	f = f + w[j]*x[j]
# f += b
f = np.dot(w,x) + b

向量化是通过numpy这个库所实现的

---

梯度下降：

one feature：

repeat{

​ $w=w-\alpha \frac{1}{m}\sum _{i=1}^m(f(x^i)-y^i)x^i$

​ $b=b-\alpha \frac{1}{m}\sum _{i=1}^m(f(x^i)-y^i)$​

​ simultaneously update w,b

}

n features:

repeat{

​ $w_1=w_1-\alpha \frac{1}{m}\sum _{i=1}^m(f({\vec{x}}^i)-y^i)x_1^i$​

​ ·

​ ·

​ ·

​ $w_n=w_n-\alpha \frac{1}{m}\sum _{i=1}^m(f({\vec{x}}^i)-y^i)x_n^i$

​ $b=b-\alpha \frac{1}{m}\sum _{i=1}^m(f({\vec{x}}^i)-y^i)$

​ simultaneously update w_j (for j = 1,…,n) and b

}