autoML 前瞻与实践 ---- 如何做基于spark 的 自动化机器学习？

---

auto 与spark 简介

机器学习的应用需要大量的人工干预，这些人工干预表现在：特征提取、模型选择、参数调节等机器学习的各个方面。AutoML视图将这些与特征、模型、优化、评价有关的重要步骤进行自动化地学习，使得机器学习模型无需人工干预即可被应用。

随着深度神经网络的不断发展，各种模型和新颖模块的不断发明利用，人们逐渐意识到开发一种新的神经网络结构越来越费时费力，为什么不让机器自己在不断的学习过程中创造出新的神经网络呢？出于这个构思，2017年Google推出了AutoML—一个能自主设计深度神经网络的AI网络，紧接着在2018年1月发布第一个产品，并将它作为云服务开放出来，称为Cloud AutoML。自此，人工智能又有了更进一步的发展，人们开始探索如何利用已有的机器学习知识和神经网络框架来让人工智能自主搭建适合业务场景的网络，人工智能的另一扇大门被打开。

研究动机

（1）传统机器学习是一个烦琐且耗时的过程
（2）传统机器学习有一定难度，准入门槛高

意义和作用

21世纪是一个信息的时代，各行各业都面临着一个同样的问题，那就是需要从大量的信息中筛选出有用的信息并将其转化为价值。随着机器学习2.0的提出，自动化成为了未来机器学习发展的一个方向。各行各业都涉及机器