机器学习(十)- Neural Network representation

本文探讨了逻辑回归在面对复杂分类任务时的局限性,并介绍了如何利用神经网络解决高维特征空间的问题。通过实例分析,展示了神经网络在目标检测等任务中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Non-linear hypotheses

我们继续讨论分类的话题,对于之前的较为简单的逻辑回归来说,我们一直在讨论2个参数的情况,是因为它直观,我们可以在二维平面上直接展示出来,利于我们学习,就例如下图左上角的一个非线性分类,我们想要去拟合一条二维曲线。
这里写图片描述
但是当参数增多,如上图假设我们有100个参数,如果进行参数组合成特征,光2次项就会有大约5000左右的feature,3次项会有大约170000的feature,可想而知4次项,5此项,又或者参数数量更大,那feature数量将难以想象,这个时候逻辑回归仿佛就会变得力不从心,难以完成我们的分类任务。再举一个实际的例子。
这里写图片描述
如上图,我们在进行目标检测,检测一张图片是否是car,假设我们的图片仅仅只有50×5050\times5050×50像素大小(这已经很小了)而且还是灰度图,那么显然我们有2500个参数,如果我们要运用逻辑回归,我们选择使用二次项特征,那么我们就将大约3million个feature,那么显然对于复杂的分类任务,逻辑回归就不适用了。那么接下来就要开始介绍Neural Network(神经网络)。

Neural Network representation

这里就不讲述它为什么好了和它的由来了,直接讲解神经网络模型的表示方式。(公式我就不打了,全在图里,哈哈哈!)
这里写图片描述
神经网络中每个神经元其实是一个逻辑运算单元,一般用到的函数就是逻辑回归中用到的sigmoid函数,在这里我们称之为神经元的激活函数,当然激活函数不止sigmoid一种。
每个神经元将上一层的神经元的线性组合θTx\theta^TxθTx作为输入,然后经过激活函数给出一个输出hθ(x)h_\theta(x)hθ(x)
在这里简单带一句关于层的说法,一个多层的神经网络,除了第一层叫做输入层,最后一层叫做输出层,中间的所有层都叫做隐藏层。所有的参数说明和向量化的过程都在下面两张图里了,个人觉得比起我把公式一一打出来,其实Andrew Ng教授的PPT更加直观。
这里写图片描述
这里写图片描述

x=a(1)z(j)=θ(j−1)a(j−1)a(j)=g(z(j))hθ(x)=a(L)=g(z(L))\begin{aligned} x &= a^{(1)}\\ z^{(j)} &= \theta^{(j-1)}a^{(j-1)}\\ a^{(j)} &=g(z^{(j)})\\ h_\theta(x) &= a^{(L)} = g(z^{(L)} ) \end{aligned}xz(j)a(j)hθ(x)=a(1)=θ(j1)a(j1)=g(z(j))=a(L)=g(z(L))


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值