【学习笔记】吴恩达机器学习 WEEK1

Introduction

1. 机器学习算法分类
   • 监督学习 Supervised learning
   • 无监督学习 Unsupervised learning
2. 监督学习
   • 回归 regression
     map input variables to some continuous function
   • 分类 classification
     map input variables into discrete categories
3. 无监督学习
   给算法数据集，要求它找出数据的类型结构
   实例：分离音频
   Octave：构建学习算法原型，使用Octave

Linear Regression with One Variable

1. 代价函数 cost function
   作用：measure the accuracy of our hypothesis function

   $J\left({\theta }_0,{\theta }_1\right)=\frac{1}{2m}{\sum }_{i=1}^m{\left({\hat{y}}_i-y_i\right)}^2=\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x_i\right)-y_i\right)}^2$

   也叫做平方误差函数，或者是均方误差

2. 代价函数的讲解

   • $h_{\theta }(x)$ ：固定参数$\theta$，是$x$的函数
   • $J(\theta )$：是参数$\theta$的函数
   • cost function的值越小，对应的拟合越好

3. 梯度下降 Gradient descent
   关键步骤：更新方程，${\theta }_0和{\theta }_1$需要同步更新

   ${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J\left({\theta }_0,{\theta }_1\right)$

斜率会不断变小，因此步伐会变小，慢慢靠近最后的解

4. Batch梯度下降算法
用梯度下降法，求解代价函数的最小值，得到线性回归算法，用直线模型来拟合数据

Linear Algebra Review

线性代数知识回顾

1. 大写字母表示矩阵，小写字母表示向量
2. 矩阵与向量乘法
   矩阵与向量的相乘，简化计算，避免一个一个的带入计算。
3. 矩阵与矩阵乘法
   包含更多信息，一次矩阵乘法就可以实现多种的预测（而且矩阵乘法很高效）
4. 矩阵乘法的特性
   1. 没有交换律（交换以后相乘得到的矩阵维度不同）
   2. 符合结合律 $A\times B\times C=A\times (B\times C)=(A\times B)\times C$
5. 特殊矩阵
   1. 单位矩阵 Identity Matrix $A\cdot I=I\cdot A=A$
6. 逆矩阵和矩阵的转置
   1. 矩阵逆运算
      If A is an $m\times m$ matrix，and if it has an inverse,$A{A}^{-1}=A^{-1}A=I$
      注意： 1. 方阵 2. 存在逆矩阵
   2. 矩阵的转置运算 Matrix Transpose
      矩阵的第一行变为第一列 $B_{ij}=A_{ji}$