30、深度学习的未来趋势与学习资源指南

深度学习的未来趋势与学习资源指南

1. 深度学习工程师的现状与AutoML的崛起

当前，深度学习工程师的大部分工作是使用Python脚本处理数据，然后长时间调整深度网络的架构和超参数，以获得可用的模型，若工程师有更高追求，还需打造最先进的模型。显然，这种工作模式并非最优。不过，人工智能可以提供帮助。

数据处理部分难以自动化，因为这通常需要领域知识，以及对工程师想要达成的目标有清晰、高层次的理解。但超参数调整是一个简单的搜索过程，我们明确工程师的目标，即由正在调整的网络的损失函数来定义。目前，建立基本的AutoML系统来处理大部分模型参数调整已成为常见做法。

1.1 AutoML的基础操作

最基础的AutoML系统会调整堆叠层的数量、顺序以及每层中的单元或过滤器数量。这通常使用如Hyperopt这样的库来完成。此外，我们还可以更有野心，尝试尽可能少地设置限制，从头学习合适的架构，例如通过强化学习或遗传算法。

1.2 联合学习模型架构和权重

另一个重要的AutoML方向是联合学习模型架构和模型权重。由于每次尝试稍微不同的架构时都从头训练新模型效率极低，一个真正强大的AutoML系统会在通过反向传播对训练数据调整模型特征的同时，进化架构。

1.3 工程师角色的转变

当AutoML广泛应用时，机器学习工程师的工作不会消失，而是会向价值创造链的上游移动。他们将更多地致力于设计能真正反映业务目标的复杂损失函数，并理解模型如何影响其部署的数字生态系统，例如使用模型预测结果并生成训练数据的用户。目前，只有大型公司有能力考虑这些问题。

2. 终身学习与模块化子程序重