1、自动化机器学习与搜索技术的最新进展

自动化机器学习与搜索技术的最新进展

1. 引言

人工智能，尤其是机器学习，在解决现实世界问题上的近期成功，推动了算法和系统自动化设计的发展，旨在减少人工参与。在机器学习和元启发式搜索算法领域，不同的相关研究方向正在涌现，且研究成果相互影响。当前，自动化机器学习（AutoML）和自动化算法设计（AutoAD）领域取得了一系列进展，新技术和新算法的有效性和效率在新的分类法、模型、理论、框架和基准的支持下得到了提升。这些新兴的研究方向也为机器学习、进化计算和优化研究等多个领域带来了新的挑战。

2. 自动化算法设计与机器学习

过去，大多数智能算法和系统的成功高度依赖于人类专家的专业知识。专家需要在较低层面微调所选算法或模型的参数和设置，在较高层面选择最合适的算法或系统架构来解决问题。手动设计的算法往往是针对特定问题的，解决问题后通常会被丢弃，造成了大量人力资源的浪费。

随着机器学习的快速发展，有证据表明AutoML在研究和实践中都是可行的。基于AutoML组件的定义，相关综述为该领域提供了很好的介绍。其中，进化计算在AutoML方法的优化器中起着重要作用。然而，AutoML仍面临一些挑战，如大规模优化和学习迁移等问题，需要机器学习和计算搜索算法的进一步协作和整合。

例如，在神经架构搜索（NAS）中，传统的离线优化计算成本高昂。为了解决这个问题，研究人员将其扩展到分布式实时系统中的联邦学习，以用于边缘设备。为了降低计算成本，研究人员研究了两种基于NSGA - II的多目标进化算法，用于图像分类的自动在线NAS。不过，NAS在进化计算方面仍有许多研究工作有待开展，包括不同特征任务的模型平均聚合和隐私泄露安全问题。

AutoAD的