16、深度学习架构：神经元与神经网络解析

深度学习架构：神经元与神经网络解析

1. 神经元类型概述

神经元是深度学习中的基础组件，不同类型的神经元具有各自独特的特点和应用场景。

1.1 感知机（Perceptron）

感知机是一种具有阶跃激活函数的神经元模型。当输入信号超过给定阈值时，神经元就会被激活，其输出具有跳跃间断性。感知机可以作为二元分类器，对平面上的两个线性可分的聚类进行分类。同时，它能够学习布尔函数 AND 和 OR，但无法学习 XOR 函数。

1.2 Sigmoid 神经元

Sigmoid 神经元采用 Sigmoid 激活函数，其输出是连续的。当信号过大或过小时，输出会趋于饱和。Sigmoid 神经元可以通过逻辑回归进行学习，这等价于权重由最大似然法确定。它在二元分类和违约概率预测等方面有应用。

1.3 线性神经元

线性神经元的输入是随机变量，激活函数为线性函数。其最优权重可以通过闭式解得到，但在实际应用中，使用梯度下降法进行训练更为简便。

1.4 连续输入神经元

如果神经元的输入是给定区间内的连续变量，并且权重系统被该区间上的测度所取代，就得到了具有连续输入的神经元。根据不同的测度类型，如狄拉克测度、离散测度或勒贝格测度，存在多种类型的连续输入神经元。

神经元类型	激活函数	输出特点	应用场景
感知机