[机器学习入门笔记] 2. 2022吴恩达机器学习Deeplearning.ai课程（回顾）

Cyan Chau

已于 2022-08-31 20:44:22 修改

阅读量2.3k

点赞数 6

分类专栏：机器学习文章标签：机器学习人工智能回归

于 2022-08-20 19:39:59 首次发布

本文链接：https://blog.youkuaiyun.com/ChiYoun/article/details/126441838

版权

机器学习专栏收录该内容

5 篇文章

订阅专栏

本章主要回顾吴恩达老师机器学习快速入门视频，以便夯实基础，适合零基础小白~

1. 监督学习和无监督学习

监督学习（Supervised Learning）：对于数据集中每一个样本都有对应的标签，包括回归（regression）和分类（classification）；

无监督学习（Unsupervised Learning）：数据集中没有任何的标签，包括聚类（clustering）

2. 线性回归模型

[见机器学习入门笔记—周志华. 《机器学习》–线性模型]

3. 代价函数

代价函数（cost function）J(θ)，通常使用平方误差函数，如下：
在这里插入图片描述

4. 梯度下降

在这里插入图片描述
如果α太小，梯度下降会变得缓慢；如果α太大，梯度下降可能无法收敛甚至发散。

线性回归中的梯度下降

在这里插入图片描述

5. 多维特征

在这里插入图片描述

矢量化

在这里插入图片描述

6. 多元线性回归的梯度下降

在这里插入图片描述

7. 特征缩放

定义

特征缩放是用来标准化数据特征的范围。

数量级的差异将导致量级较大的属性占据主导地位
数量级的差异将导致迭代收敛速度减慢
依赖于样本距离的算法对于数据的数量级非常敏感

作用与原理

特征缩放是针对多特征情况的。当有多个特征向量的时候，如果其中一个变化范围比较大，根据上次所说的多特征梯度下降法算法，该特征向量的参数可能会变化范围很大，从而主导整个梯度下降的过程，使得整个收敛轨迹变得复杂，让收敛的时间更长

优点

提升模型的精度：在机器学习算法的目标函数中使用的许多元素，都是假设所有的特征都是零均值并且具有同一阶级上的方差。如果某个特征的方差比其他特征大几个数量级，那么它就会在学习算法中占据主导位置，导致学习器并不能像我们期望的那样，从其他特征中学习
提升收敛速度：对于线性模型来说，数据归一化后，寻找最优解的过程明显会变得平缓，更容易正确地收敛到最优解

Standardization (Z-score normalization)

通过减去均值然后除以标准差，将数据按比例缩放，使之落入一个小的特定区间，处理后的数据均值为0，标准差为1

$x'=\frac{x-mean(x)}{std(x)}$

数据本身的分布就服从正态分布
最大值和最小值未知的情况，或有超出取值范围的离群数据的情况
在分类、聚类算法中需要使用距离来度量相似性、或者使用PCA（协方差分析）技术进行降维时，使用该方法表现更好

Rescaling (min-max normalization)

将原始数据线性变换到用户指定的最大-最小值之间，处理后的数据会被压缩到 [0,1] 区间上
$x'=\frac{x-min(x)}{max(x)-min(x)}$

对输出范围有要求
数据较为稳定，不存在极端的最大最小值
在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用该方法

Mean normalization

$x′=\frac{x-mean(x)}{max(x)-min(x)}$

8. 判断梯度下降是否收敛

在这里插入图片描述

9. 学习率

在这里插入图片描述
如何正确选择学习率。

如果α太小：收敛慢
如果α太大：每一次迭代过程中J(θ)将会不断的越过最小值，无法收敛
choose α：0.001，0.003，0.01，0.03，0.1，0.3，1，…
寻找一个合适的较小值和较大值，保证结果和速度的同时选取较大的值，或者稍小的合理值。

10. 正规方程

在这里插入图片描述
正规方程存在条件：

X^TX是可逆矩阵，若不可逆，可计算广义可逆矩阵。

梯度下降算法：需要选择学习速率α ；需要许多次迭代；当特征数量n较大时也能够运转正常；
正规方程：无需选择参数；无需迭代；需要计算( X^TX )⁻¹；当n较大时计算缓慢

11. 逻辑回归

在这里插入图片描述

12. 决策边界

在这里插入图片描述

13. 逻辑回归的代价函数

在这里插入图片描述

简化逻辑回归的代价函数

在这里插入图片描述

14. 实现逻辑回归梯度下降

在这里插入图片描述

X⁽ⁱ⁾ _j 意味着训练样例i的j特征
同步更新：means compute the right-hand side for all of these updates and then simultaneously overwrite all the values on the left at the same time.