吴恩达机器学习笔记Day 3

最新推荐文章于 2024-07-02 18:22:52 发布

原创最新推荐文章于 2024-07-02 18:22:52 发布 · 170 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

3 篇文章

订阅专栏

吴恩达机器学习笔记Day 3

逻辑回归

解决分类问题，例如判断邮件是否是垃圾邮件，线上交易是否存在欺诈，肿瘤的良性或恶性。这些例子的输出y属于集合{0，1}，0代表”Negative class"，1代表“Postive class"。
所以在分类问题中，y = 0 or 1，假设函数h(x)能大于1或者小于0，而当我们使用逻辑回归(分类)时，要使假设函数在[0,1]区间内。
上述例子并不适合用线性回归来解决，为什么呢，请看图。肿瘤大小与良恶性
线性回归中假设函数， $hθ(x)=θTxh_\theta(x)=\theta^Tx$
逻辑回归中引入Sigmoid function， $g(z)=11+e−zg(z)=\frac{1}{1+e^-z}$
$hθ(x)=g(θTx)h_\theta(x)=g(\theta^Tx)$
sigmoid 函数图像在这里插入图片描述

决策边界

$hθ(x)≥0.5h_\theta(x)≥0.5$ 也就是 $θTx≥0\theta^Tx≥0$ 时，y = 1
$hθ(x)<0.5h_\theta(x)<0.5$ 也就是 $θTx<0\theta^Tx<0$ 时，y = 0
在这里插入图片描述

代价函数

如何选择参数 $θ\theta$ ? 在这里插入图片描述
由于逻辑回归的假设函数是sigmo函数，所以画出的代价函数图形如左边所示，由此可见，线性回归的Cost已不再适用，需要对Cost项的函数进行改造，让图形更加光滑。
公开课上讲的非常清楚，选择指数形式能很好的解决此问题。
这里直接给出优化后的函数形式在这里插入图片描述
接下来是梯度下降
虽然函数形式是跟线性回归一样的，但假设函数已经发生了改变。