深度学习之卷积神经

M-P神经元模型

MP神经元本身的权重和偏置是固定的，不具备学习的可能

激活函数及其作用

激活函数是神经网络中的一个关键组成部分，它的作用是引入非线性变换，增加模型的表达能力和学习能力

神经元 + 学习 ➡ 感知机

感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元
感知机只能解决简单的线性问题，无法解决异或问题

感知机到多层感知机

感知机（Perceptron）是一种最简单的人工神经网络模型，由两层神经元组成：输入层和输出层。它是一种二分类模型，可以用于解决线性可分问题。

感知机的输入层接收输入特征向量，每个特征都有对应的权重。输入特征向量通过加权求和后，经过一个阈值函数（通常是阶跃函数）进行激活，得到输出结果。输出结果可以是两个类别中的一个。

然而，感知机的局限性在于只能解决线性可分问题。对于线性不可分问题，感知机无法正确分类。为了解决这个问题，多层感知机（Multilayer Perceptron，MLP）被引入。

多层感知机引入了一个或多个隐藏层，每个隐藏层包含多个神经元。通过引入隐藏层，多层感知机可以学习到更加复杂的非线性关系。隐藏层的神经元接收上一层的输出作为输入，同样进行加权求和和激活函数处理，最终得到输出结果。

多层感知机的训练通常使用反向传播（Backpropagation）算法。反向传播通过计算输出结果与真实标签之间的误差，并将误差反向传播到网络中的每一层，以更新权重和偏置，从而使网络逐渐优化。

多层感知机是一种通用的人工神经网络模型，可以解决各种复杂的问题，包括分类和回归等任务。它是深度学习中最基础和常用的模型之一，被广泛应用于计算机视觉、自然语言处理、语音识别等领域。

神经网络之结构

神经网络通常由输入层、隐藏层和输出层组成，每一层都有特定的作用。

1. 输入层（Input Layer）：输入层的主要作用是将外部数据传递给神经网络的下一层。数据预处理不属于输入层的任务，它发生在数据准备阶段
2. 隐藏层（Hidden Layer）: 通过加权求和和激活函数的处理，将上一层的输出作为输入，并生成输出结果
3. 输出层（Output Layer）：将隐藏层提取的特征映射到最终的输出空间，并生成对应的预测结果或概率分布

总体而言，输入层负责接收外部输入数据，隐藏层负责对输入进行特征提取和变换，输出层负责生成最终的预测结果。这些层之间的连接和神经元的处理通过反向传播算法进行训练和优化，以使神经网络能够适应特定任务并提高性能。

神经网络之深度神经网络（MLP）

增多中间层（隐层）的神经网络就叫做深度神经网络（DNN），可以认为深度学习是神经网络的一个发展
隐藏层的神经元数目和层数的选择是网络设计的关键，不同的结构和深度可以影响网络的性能和学习能力

传统卷积（convolution）

卷积数学公式：$s(t)=\int x(a)w(t-a)da\underrightarrow{等价表示}s(t)=(x\ast w$