梯度下降(gradient descent)

侵删！！！

对于一般的线性方程：

$${\text{h}}_{\theta }(\mathbf{X})={\theta }_0+{\theta }_1{x}_1+......+{\theta }_n{x}_n$$

这里的

$${\theta }_i$$

就是我们需要拟合的参数项

表示成矩阵形式：

$$\text{h}(\mathbf{X})=\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{\mathbf{T}}\mathbf{X}$$

损失函数：

$$\text{J}(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }({\mathbf{X}}^{(i)})-y^{(i)}{)}^2$$
这里$m$表示样本的数量，加入系数２是为了在后续求偏导的时候消掉，使得公式更加简洁。我们在优化的过程中就是为了使得损失函数最小化$\text{(}lossfunction)$，即：
$$\underset{\theta }{\text{arg min}}\mathbf{J}(\theta )$$

根据梯度下降的思想，参数的最优解可以表示为：

$${\theta }_j:={\theta }_j-\eta \frac{\partial J(\theta )}{\partial {\theta }_j}$$

对于梯度$\frac{\partial J(\theta )}{\partial {\theta }_j}$ 的解法，需要将每个参数的偏导求出来，经过迭代之后最终得到未知参数的值，下面进行推导：

$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }\left({\mathbf{X}}^{(i)}\right)-y^{(i)}\right)}^2\\ & ＝\frac{1}{2m}\frac{\partial }{\partial {\theta }_j}\left[{\left(h_{\theta }\left(X^{(1)}\right)-y^{(1)}\right)}^2+..+{\left(h_{\theta }\left(X^{(m)}\right)-y^{(m)}\right)}^2\right]\\ & =\frac{1}{2m}\left[2\left(h_{\theta }\left(X^{(1)}\right)-y^{(1)}\right)\frac{\partial }{\partial {\theta }_j}\left(\sum _{k=0}^n{\theta }_k{x}_k^{(1)}-y^{(1)}\right)+......+2\left(h_{\theta }\left(X^{(m)}\right)-y^{(m)}\right)\frac{\partial }{\partial {\theta }_j}\left(\sum _{k=0}^n{\theta }_k{x}_k^{(m)}-y^{(m)}\right)\right]\\ & =\frac{1}{m}\left[\left(h_{\theta }\left(X^{(1)}\right)-y^{(1)}\right)x_j^{(1)}+......+\left(h_{\theta }\left(X^{(m)}\right)-y^{(m)}\right)x_j^{(m)}\right]\\ & =\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(X^{(i)}\right)-y^{(i)}\right)x_j^{(i)}\end{array}$$

这里其实就是：

$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}{X}^T\ast L$$
$X^T$为数据矩阵的转置，$L$为每次更新之前计算得到的$loss$

对于李宏毅深度学习作业１

1.处理数据集，提取PM2.5的数据，每10小时为一条数据，前９小时的PM2.5值作为特征，最后１小时PM2.5值作为label.

这里我的数据集读取之后列名有点问题，重新处理了一下

import pandas as pd
import numpy as np

＃Modify column name
df = pd.read_csv('train.csv', encoding='ISO-8859-1')
df = df.rename(columns={'¤é´Á':'data', '´ú¯¸':'stations', '´ú¶µ':'obvservations'})
df['stations'] = 'station'

#create dataSet
df_pm25 = df[df.obvservations == 'PM2.5'].loc[:, '0':]
X_train = []
y_train = []
for idx, row in df_pm25.iterrows():
    for i in range(15):
        cluster = row[i:i+10].tolist()
        X_train.append(cluster[:9])
        y_train.append(cluster[9])
X_train = np.asarray(X_train, dtype=np.float64)
y_train = np.asarray(y_train, dtype=np.float64)

这里是按照课程提供的伪代码写的代码，用adagrad做的参数优化，最后你不确定需要迭代多少步可以将loss存下来，作图看一下。

learning_rate = 0.001
iterations = 10000000
#W的维度需要根据你数据集的特征数量确定，也就是列数
W = np.zeros((len(X_train[0])))
s_grad = np.zeros((len(X_train[0])))
lossVals = []
for i in range(iterations):
    y_pred = np.dot(X_train, W)
    loss = y_pred - y_train
    ＃计算梯度值，上面公式推导已经解释了梯度等于X_train和loss做点积
    gradient = 2* np.dot(X_train.transpose(), loss)
    s_grad += gradient ** 2
    ada = np.sqrt(s_grad)
    W = W - learning_rate*gradient/ada
    lossVals.append(np.mean(loss))

参考吴恩达的cs229课程和台大李宏毅深度学习课程