30、深度学习的未来趋势与学习资源指南

深度学习的未来趋势与学习资源指南

1. 深度学习工程师现状与AutoML的作用

目前，深度学习工程师的大部分工作是使用Python脚本处理数据，然后长时间调整深度网络的架构和超参数，以获得可用的模型，若有更高追求，还需打造最先进的模型。显然，这并非最佳工作模式，但人工智能可提供助力。不过，数据处理部分难以自动化，因其常需领域知识以及对工程师目标的清晰、高层次理解。而超参数调整是一个简单的搜索过程，我们明确工程师的目标，即由被调整网络的损失函数定义。如今，搭建基本的自动机器学习（AutoML）系统来处理大部分模型参数调整已成为常见做法。

1.1 AutoML的基础操作

最基础的AutoML系统会调整层的数量、顺序以及每层中的单元或过滤器数量，常用Hyperopt等库实现。我们还可更具野心，尝试尽可能少加限制地从头学习合适的架构，例如通过强化学习或遗传算法。

1.2 AutoML的高级方向

另一个重要的AutoML方向是联合学习模型架构和模型权重。由于每次尝试稍有不同的架构就从头训练新模型效率极低，强大的AutoML系统应能在通过反向传播调整模型特征的同时进化架构。这种方法已逐渐出现。

1.3 工程师角色的转变

当上述情况发生时，机器学习工程师的工作不会消失，而是会向价值创造链上游转移。他们将投入更多精力设计能真正反映业务目标的复杂损失函数，并理解模型对其部署的数字生态系统的影响，这些问题目前只有大型公司有能力考虑。

2. 终身学习与模块化子程序重用

若模型变得更复杂，且基于更丰富的算法原语构建，这种复杂性的增加将要求任务间有更高的重用性，而非每次有