44、深度学习：原理、方法与应用案例

深度学习：原理、方法与应用案例

1. 神经网络成功之谜

神经网络为何如此成功，至今尚无定论。有迹象表明，对于许多任务而言，这些网络的全部权重并非真正必要，最终可能会有更清晰的方法来完成相同的任务。神经网络似乎通过过拟合来工作，利用数百万个示例来拟合数百万个参数。但它们通常能避免过拟合的最坏情况，或许是采用了不太精确的知识编码方式。例如，一个明确记忆长文本字符串并按需输出的系统会显得脆弱且过拟合，而以更宽松方式表示这些短语的系统则更具灵活性和通用性。

深度学习是一项令人兴奋且有前景的技术，但它最适合有大量训练数据的领域。因此，大多数数据科学模型仍将使用传统的分类和回归算法来构建。

2. 深度学习网络的结构与深度

2.1 网络结构

深度学习网络的架构如图所示，每个节点 x 代表一个计算单元，它会对所有输入计算一个简单函数 f(x) 的值，可将其视为一个简单的加法器，将所有输入相加后输出总和。每条有向边 (x, y) 连接节点 x 的输出和网络中更高层节点 y 的输入，并且每条边都有一个关联的乘数系数 wx,y，传递给 y 的实际值是 wx,y · f(x)，即节点 y 计算其输入的加权和。

网络的左列表示一组输入变量，其值在我们要求网络进行预测时会发生变化，可看作网络的接口。从这里到下一层的链接将输入值传播到所有会使用该值进行计算的节点。右侧是一个或多个输出变量，呈现计算的最终结果。输入层和输出层之间是隐藏层节点。给定所有系数的权重、网络结构和输入变量的值，计算过程很直接：计算网络最低层的值，将其向前传播，然后从下一层重复此过程，直到达到顶层。

学习网络意味着设置系数参数 wx,y 的权重。边越多