吴恩达机器学习笔记（一）

最新推荐文章于 2025-12-02 20:26:37 发布

原创最新推荐文章于 2025-12-02 20:26:37 发布 · 122 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #笔记 #人工智能

本文介绍了监督学习和无监督学习的基本概念，包括线性回归模型，如单变量线性回归，以及梯度下降法在优化成本函数中的应用。监督学习用于分类和回归问题，如K近邻、决策树等，而无监督学习主要用于聚类，如K-means。线性回归中的梯度下降法寻找成本函数的最小值，确保模型最佳拟合数据。

监督学习(Supervised Learning)

无监督学习(Unsupervised Learning)

线性回归(linear regression)

监督学习(Supervised Learning)

监督学习既有特征值X，也有目标值y，大部分的机器学习算法都属于监督学习。监督学习既可以用于分类也可以用于回归。常见的监督学习算法有：K近邻算法，决策树和随机森林，逻辑斯蒂(logistic)回归，支持向量机(SVM)，线性回归、岭回归、KNN。

（就是给它问题和答案，让他自己做自己对，给它一道有答案的例题让它学习）

回归（Regression）：图预测一个数字或者无限多个可能的数字

分类（Classification）：学习算法必须对一个类别进行预测，所有可能的输出都是一小组

无监督学习(Unsupervised Learning)

无监督学习是没有目标值的y的就是不了解输出结果应该是什么样子，这种学习通常用于聚类，说白了就是把一堆商品分成不同的种类，对目标群体进行划分。比如淘宝京东这类电商平台就会商品进行聚类划分。常见的无监督聚类算法：K-means。

聚类（cluster）：按照某个特定标准把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。

线性回归(linear regression)

单变量线性回归

具有一个变量的线性回归，当要根据单个输入值x预测单个输出值y时，使用单变量线性回归。我们在这里使用监督学习，意味着我们已经对输入/输出因果关系有一个了解。

假设函数

$f_{w,b}(x) = wx + b$

这是一条直线方程形式，通过w和b赋予的f(x)的值，得到我们的预测输出 $\hat{y}$ 。我们尝试各种w和b的值，试图通过映射在xy平面上的数据点找到最佳拟合或最具代表性的直线的值

代价函数(cost function)

假设（Hypothesis）	$f_{w,b}(x) = wx + b$
参数（Parameters）	w,b
成本函数（Cost Function）	$J(w,b) = \tfrac{1}{2m}\sum_{i=1}^{m}(f_{w,b}(x^{(i)})-y^{(i)}){_{}}^{2}$
目标（Goal)	$\underset{w,b}{minimize}J(w,b)$

梯度下降

数学公式：

$tempw = w - \alpha \frac{\partial }{\partial w}J(w,b)$ α是学习率Alpha后面的是对J（w，b）求偏导

$tempb = b - \alpha \frac{\partial }{\partial b}J(w,b)$

w = temp_w

b = temp_b

学习率

Alpha太小，梯度下降会起作用，但会太慢

Alpha太大，创建感觉可能会过冲并且可能永远不会达到最小值，大相交可能无法收敛，甚至可能发散

梯度下降的工作原理：我们在梯度下降中看到的一个问题是，它可以导致局部极小值，而不是全局极小值，全局最小值是否表示成本函数可能值最低的点J所有可能的点。该函数具有多个局部最小值，根据您初始化参数w和b的位置，您最终可能会达到不同的局部最小值。

如果使用带有线性回归的平方误差成本函数时，成本函数没有也永远不会有多个局部最小值，它有一个全局最小值。

梯度下降法用于线性回归

线性回归算法：

$\theta _{0} = \theta _{0} - \alpha \tfrac{1}{m}\sum_{i=1}^{m}(h_{\theta }(x^{(i) }) - y^{(i)})$

$\theta _{0} = \theta _{0} - \alpha \tfrac{1}{m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)}) - y^{(i)})\cdot x^{(i)}$

更新相当于w和b，因为线性回归的代价函数是一个碗形，所以它没有局部最优，只有一个全局最优

吴恩达机器学习笔记（一）

监督学习(Supervised Learning)

无监督学习(Unsupervised Learning)

线性回归(linear regression)

单变量线性回归

假设函数

代价函数(cost function)

梯度下降

学习率

梯度下降法用于线性回归

1 条评论