吴恩达深度学习公开课笔记(2)

最新推荐文章于 2024-04-10 01:34:52 发布

原创最新推荐文章于 2024-04-10 01:34:52 发布 · 179 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#吴恩达

深度学习专栏收录该内容

4 篇文章

订阅专栏

本文探讨了如何使用矩阵运算来简化机器学习算法，特别是通过矩阵乘法减少代码复杂度。介绍了使用矩阵表示预测函数的方法，以及如何利用矩阵进行特征缩放和均值归一化，加速梯度下降算法的收敛。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用矩阵来简化算法

使用矩阵乘法来减少代码

训练集

size( $feet^2$ )	Number of badrooms	Number of floors	Age of home(years)	Price($1000)
2014	5	1	45	460
1416	3	2	40	232
1534	3	2	30	315
852	2	1	36	178
…	…	…	…	…

预测函数
$hθ(x)=θ0+θ1x1+θ2x2+θ3x3+θ4x4h\theta(x)=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+\theta_{3}x_{3}+\theta_{4}x_{4}$

使用矩阵

当特征数量为n时
$hθ(x)=θ0+θ1x1+θ2x2+θ3x3+θ4x4+......+θnxnh\theta(x)=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+\theta_{3}x_{3}+\theta_{4}x_{4}+......+\theta_{n}x_{n}$

假设一个 $x_{0}=1$ $

$x=[x0x1x2x3x4...xn]x=\begin{gathered}\begin{bmatrix}x_{0}\\x_{1}\\x_{2}\\x_{3}\\x_{4}\\...\\x_{n}\end{bmatrix}\quad\end{gathered}$ $θ=[θ0θ1θ2θ3θ4...θn]\theta=\begin{gathered}\begin{bmatrix}\theta_{0}\\\theta_{1}\\\theta_{2}\\\theta_{3}\\\theta_{4}\\...\\\theta_{n}\end{bmatrix}\quad\end{gathered}$

预测函数为
$hθ(x)=θ⊤xh\theta(x)=\theta^\top x$

各主流语言都有相关的库来优化矩阵计算

梯度下降算法为
$θj=θj−a1m∑i=1m(hθ(x(i))−y(i))xj(i)\theta_{j}=\theta_{j}-a\frac{1}{m}\sum_{i=1}^{m}(h\theta(x^{(i)})-y^{(i)})x_{j}^{(i)}$

其中 $x_{j}^{(i)}$ 表示第 $i$ 组特征的第 $j$ 个特征

特征缩放

特征缩放的目的是使特征保持在相似的取值范围，这样梯度下降算法能更快的收敛

$feet2)x_{1}=size(0-2000\space feet^2)$
$badrooms(1−5)x_{2}=number\space of\space badrooms(1-5)$

特征范围差距特别大时，轮廓图将呈现椭圆形

均值归一化

$xj=xj−标准差maxx_{j}=\frac{x_{j}-标准差}{max}$
列如 $x1=size−10002000x_{1}=\frac{size-1000}{2000}$ ， $x2=badrooms−25x_{2}=\frac{badrooms-2}{5}$
$−0.5≤x1≤0.5-0.5\le x_{1}\le 0.5$ , $−0.5≤x2≤0.5-0.5\le x_{2}\le 0.5$