22、深度学习助力人工智能发展

深度学习助力人工智能发展

1. 神经元与激活函数

生物神经元接收信号，但并非总是释放自身的信号，信号的释放取决于接收到的信号量。当神经元获得足够的刺激时，它会给出响应；否则，它保持沉默。算法神经元在接收到数据后，会对其进行求和，并使用激活函数来评估结果。如果接收到的输入达到某个阈值，神经元会转换并传输输入值；否则，信号消失。

神经网络使用称为激活函数的特殊函数来产生结果。激活函数是神经网络的关键组件，因为它们使网络能够解决复杂问题。它们就像门一样，决定信号是通过还是停止，并且会以有用的方式对信号进行转换。例如，没有像修正线性单元（ReLU）这样有效的激活函数，深度学习就无法实现。

2. 神经网络架构

2.1 简单神经网络架构

与具有固定数据接收和处理流程的其他算法不同，神经网络需要确定信息的流动方式，即确定单元（神经元）的数量及其在各层中的分布，这就是神经网络架构。

简单的神经网络架构是前馈输入，数据沿一个方向流入网络。连接仅存在于相邻层的单元之间，同一层内的单元或非相邻层的单元之间没有连接，处理后的数据不会返回之前的神经元层。

在更高级的神经网络应用中，还需要决定所需的层类型以及大量影响层行为的参数。神经网络具有极高的灵活性，但这也是一把双刃剑，随着复杂性的增加，机器学习工具的能力会增强。

使用神经网络就像使用分层的水过滤系统，水从上方倒入，在底部被过滤，水只能向前和向下流动，不能回流。同样，神经网络迫使数据特征按照网络架构的规定在网络中流动并相互混合，通过使用最佳架构混合特征，神经网络在每一层创建新的组合特征，有助于实现更好的预测。然而，目前没有理论规则来确定最佳架构，