线性模型在面对非线性类边界的数据时可能无法有效分类。解决方法是通过非线性映射函数将数据从低维空间映射到高维，使其变得线性可分。非线性函数如σ(如cosine函数)被用于增加模型的表达能力。两层神经网络通过非线性层结合线性函数，增强了拟合复杂模式的能力，能适应曲线和曲面。全连接神经网络（多层感知机）进一步扩展了这种概念，通过多层非线性变换实现更复杂的模式识别。训练这些网络涉及计算梯度，以优化权重矩阵。
线性模型假设的问题
如上图，对非线性类边界的数据进行分类
一个解决方案是将数据映射到更高维的空间，就变成线性可分的了。
ϕ \phi ϕ 是一个映射函数，将x从一个低维空间映射到高维空间。
ϕ
\phi
ϕ 可不可以是一个线性函数？
ϕ
(
x
)
=
W
T
x
\phi(x) = W^Tx
ϕ(x)=WTx 并不能起到将x映射到高维空间的效果。
这个函数本质上还是线性的，没有什么变化。
非线性特征
σ \sigma σ是一个非线性函数，但是并不改变矩阵的维度。可以是cosine函数之类的。
两层神经网络
矩阵形式
非线性层
线性的函数，只能在给定空间中进行线性划分，能拟合直线或者空间中的超平面。
加入非线性层，比有更强的拟合效果，能拟合曲线，空间中的曲面等。
全连接神经网络一般形式
全连接的神经网络一般有L层，又称多层感知机。
θ = W 1 , . . . , W L \theta={W_1,...,W_L} θ=W1,...,WL
有些时候，每一层还会加一个偏移项 bi
Z i + 1 = σ i ( Z i W i + b i ) Z_{i+1} = \sigma_i(Z_iW_i+b_i) Zi+1=σi(ZiWi+bi)
如何训练？
计算两层网络的梯度
扫一扫
686
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
