本文介绍了神经网络的基本结构，包括输入、隐藏和输出层，以及它们在回归和分类任务中的应用。讨论了隐藏层深度对模型性能的影响，重点讲解了各种激活函数如sigmoid、tanh、softmax和ReLU的特点和适用场景。此外，还涉及了神经网络语言模型的实现，特别是如何使用词向量和激活函数进行预测。
神经网络（Neural Network，NN）主要由输入层、隐藏层、输出层构成，输入层的的节点数等于待处理数据中输入变量的个数（每一个变量代表了一个特征），输出层的节点数等于与每个输入变量关联的输出的数量（代表了分类标签的个数）。
不论是回归还是分类任务，输入和输出层的节点数是固定的（在做二分类时，如果采用 sigmoid 分类器，输出层的个数为 1 个；如果采用 softmax 分类器，输出层个数为2个）
一个基本的三层神经网络可见下图：
理论上，隐藏层的层数越深，拟合函数的能力越强，效果按理说会更好，但是实际上更深的层数可能会带来过拟合的问题，同时也会增加训练难度，使模型难以收敛。参考神经网络的理解与实现
神经网络语言模型（Neural Network Language Model, NNLM）
具体实现代码请参考Python实现神经网络语言模型
神经网络语言模型的目
最低0.47元/天 解锁文章
扫一扫
2395
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
