神经网络入门：从感知机到激活函数

什么是神经网络

神经网络（Neural Network） 是一种模拟生物神经系统工作方式的计算模型，是机器学习和深度学习的核心组成部分。它的设计灵感来源于人脑中神经元之间的连接和信息传递方式。神经网络通过模拟这种结构，能够从数据中学习复杂的模式和关系，并用于解决各种任务，如分类、回归、生成等。

神经网络的一些基本概念

神经网络的基本组成

神经网络由多个层（layers）组成，每一层包含多个神经元（neurons），神经元之间通过**权重（weights）和偏置（biases）**连接。以下是神经网络的核心组件：

神经元（Neuron）

• 神经元是神经网络的基本单元，模拟生物神经元的工作方式。
• 每个神经元接收来自其他神经元的输入，对这些输入进行加权求和，然后通过一个激活函数（Activation Function）生成输出。

数学表达式：

其中：

• 是输入，
  • 是权重，
  • 是偏置，
  • 是激活函数（如 Sigmoid、ReLU 等）。

层（Layer）

• 输入层（Input Layer）：接收原始数据（如图像像素、文本向量等）。
• 隐藏层（Hidden Layer）：通过非线性变换提取数据的特征。一个神经网络可以有多个隐藏层。
• 输出层（Output Layer）：生成最终的预测结果（如分类概率、回归值等）。

权重和偏置（Weights and Biases）

• 权重（Weights）：连接神经元之间的参数，决定输入对输出的影响程度。
• 偏置（Biases）：为每个神经元添加一个额外的参数，用于调整输出的偏移。

激活函数（Activation Function）

• 激活函数引入非线性，使神经网络能够学习复杂的模式。
• 常见的激活函数包括：

• • Sigmoid：将输入映射到 (0, 1) 区间。
  • ReLU（Rectified Linear Unit）：，是目前最常用的激活函数。