本文介绍了深度学习的基础，包括多层感知机（MLP）及其误差函数，探讨了MLP的困境，如梯度消失和爆炸问题。接着，讨论了卷积神经网络（CNN）、循环神经网络（RNN）、自编码器和生成对抗网络（GAN）等典型网络结构，并在自然语言处理中的应用。文章还提到了大数据行业的发展驱动力以及数据分析面临的挑战，如数据量大、维度高和噪声多。
多层感知机（MLP）
- 多个神经元以全连接层次相连
- 前馈神经网络
- 万能逼近原理：非线性函数的有限次复合来无限接近目标函数
多层感知机：误差函数
- 模型的目标是让预测误差最小
- 一般使用梯度下降法（求导）来更新参数
- 链式法则计算梯度
- 后向传播计算梯度
MLP的困境
- 目标函数通常为非凸函数，不易求导获得最小值
- 极容易陷入局部最优值
- 网络层数增加后，链式法则计算梯度会出现梯度消失或爆炸问题
典型网络结构
- 卷积神经网络（CNN）
- 适合处理网格型数据：物体识别，图片分类
- 全连接网络并不适合图像：像素大、参数爆炸
- 稀疏连接；参数共享；等变表示
- 池化：对局部转换不敏感
- 循环神经网络（RNN）
- 适用于自然语言处理：机器翻译、词性标注、词向量、语音识别、图像描述生成
- LSTM
- 自编码器（Autoencoder）
- 无监督特征学习
- 输出尽量逼近输入
- 隐层节点通常比输入小
- 特征提取
- 非线性：表达能力比PCS更好
- 生成对抗网络（
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
