27、工程师的统计学习：神经网络与深度学习入门

工程师的统计学习：神经网络与深度学习入门

1. 实验设计与模型优化

在实际应用中，若已检测到处理组和对照组之间的差异，便可结束数据分析。若未检测到差异，则值得采用计算成本更高的随机化检验，因其在检测处理效果方面能力更强。

一些研究探讨了实验设计的相关问题。例如，Zhang等人讨论了在基于重新随机化进行实验设计前，如何使用主成分分析来降低特征维度；Zhou等人考虑了顺序设计的情况，即测试对象并非预先全部给定，部分对象在后续才被观察到，并需在其可用时立即分配到处理组和对照组。

对于非线性模型，寻找良好的设计需要最新的数值优化算法。然而，即使输入维度只是中等大小，计算成本也可能变得不切实际。为加快计算速度，可使用机器学习方法（如高斯过程回归）为数值算法找到高效的网格。

2. 神经网络的发展历程

神经网络在20世纪80年代末和90年代颇为流行，但受计算限制，成功应用主要依赖于小型或单层网络。之后，开发者的注意力更多地转向其他学习方法，如支持向量机或先进的基于树的算法。随着深度学习的出现，情况再次改变，深度学习在许多应用中依赖于更复杂的神经网络。

2.1 单层网络表示

回顾单层网络的输出函数 (y = f_H(x; \vartheta))，可将其重写为两个步骤：
[
\begin{align }
x_h^{(1)} &= \psi(w_{0h} + \sum_{i=1}^{d} w_{ih}x_i) = \psi(w_{0h} + \langle w_{\bullet h}, x \rangle), \quad h = 1, \ldots, H \