人工神经网络详解-优快云博客

本文链接：https://blog.youkuaiyun.com/fan3652/article/details/94861495

本文介绍了人工神经网络的基础知识，包括神经元的结构和功能，激活函数的重要性质，前馈神经网络的构造，以及防止过拟合的正则化技术。此外，还提及了FastText模型在文本分类中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

人工神经网络

人工神经网络（Artificial Neural Network，ANN）是指一系列受生物学和神经学启发的数学模型。这些模型主要是通过对人脑的神经元网络进行抽象，构建人工神经元，并按照一定拓扑结构来建立人工神经元之间的连接，来模拟生物神经网络。在人工智能领域，人工神经网络也常常简称为神经网络（Neural Network，NN）或神经模型（Neural Model）。

神经元

人工神经元（Artificial Neuron），简称神经元（Neuron）也叫感知器，是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接受一组输入信号产出输出。

生物学家在20世纪初就发现了生物神经元的结构。一个生物神经元通常具有多个树突和一条轴突。树突用来接受信息（输入层），轴突用来发送信息（输出层）。当神经元所获得的输入信号的积累超过某个阈值时（激活函数），它就处于兴奋状态，产生电脉冲。轴突尾端有许多末梢可以给其他个神经元的树突产生连接（突触），并将电脉冲信号传递给其它神经元。

一个神经元（感知器）有如下组成部分：

输入权值 一个感知器可以接收多个输入 $(x_{1},x_{2},...,x_{d}| x_{i}\epsilon \mathbb{R})$ ，每个输入上有一个权值 $\omega _{i}\epsilon \mathbb{R}$ ，此外还有一个偏置项 $b\epsilon \mathbb{R}$ ，就是上图中的 $b$ 。
激活函数 感知器的激活函数可以有很多选择，比如我们可以选择下面这个阶跃函数来作为激活函数：
输出感知器的输出由这个公式来计算 $y=f(\omega \cdot x+b)$

激活函数

激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：

连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

常见的激活函数有sigmoid、tanh、relu，

推荐文章：26种神经网络激活函数可视化，英文链接

前馈神经网络

前馈神经网络

一个生物神经细胞的功能比较简单，而人工神经元只是生物神经细胞的理想化和简单实现，功能更加简单。要想模拟人脑的能力，单一的神经元是远远不够的，需要通过很多神经元一起协作来完成复杂的功能。这样通过一定的连接方式或信息传递方式进行协作的神经元可以看作是一个网络，就是神经网络。目前最常见的神经网络结构有三种：前馈网络、反馈网络、图网络。本次只讲前馈网络。

前馈网络中各个神经元按接受信息的先后分为不同的组。每一组可以看作一个神经层。每一层中的神经元接受前一层神经元的输出，并输出到下一层神经元。整个网络中的信息是朝一个方向传播，没有反向的信息传播，可以用一个有向无环路图表示。前馈网络包括全连接前馈网络和卷积神经网络等。

前馈神经网络的目的是对于输入 [公式] ，假设我们要模拟从输入到输出的真实函数，神经网络想要找到这样的映射和合适的参数使得其预测尽量接近于真实函数。