大规模机器学习系统中的No Free Lunch | CCTC 2017 AI专场干货分享

5月18日，由优快云出品的2017中国云计算技术大会（简称CCTC，Cloud Computing Technology Conference）在北京盛大召开，第四范式机器学习算法研发工程师涂威威出席人工智能专场并作主题演讲。

作为第四范式•先知平台核心机器学习框架GDBT的设计者，涂威威在大规模分布式机器学习系统架构、机器学习算法设计和应用等方面有深厚积累。演讲中，涂威威表示，现在有越来越多的企业开始利用机器学习技术，把数据转换成智能决策引擎。企业机器学习应用系统中的核心模型训练系统有着什么样的设计和优化的考虑？与教科书中的机器学习应用相比，企业实际的机器学习应用中有哪些容易被人忽略的陷阱？涂威威对此作了经验分享，同时给出了一些可供参考的解决方案。

工业界大规模分布式机器学习计算框架的设计经验

机器学习的经典定义，是利用经验（数据）来改善系统性能。在应用过程中，首先要明确机器学习目标的定义，也就是用机器学习来做什么事情。以谷歌提升搜索广告业务收入为例，谷歌首先对提升收入的目标进行拆解，广告收入=平均单次点击价格点击率广告展现量，其中“广告展现量”被硬性控制（考虑到政策法规和用户体验），“单次点击价格”受广告主主动出价影响，与上面两者不同，“点击率”的目标明确，搜索引擎记录了大量的展现点击日志，而广告候选集很大，不同广告的点击率差别很大，谷歌广告平台有控制广告展现的自主权，因此对于谷歌提升搜索广告收入的问题而言，机器学习最适合用来优化“广告点击率”。在确定了机器学习具体的优化目标是广告点击率之后，谷歌机器学习系统会循环执行四个系统：数据收集→数据预处理→模型训练→模型服务（模型服务产生的数据会被下一个循环的数据收集系统收集）。在这四个系统中，与机器学习算法最相关的就是模型训练系统。

在涂威威看来，计算框架设计上，没有普适的最好框架，只有最适合实际计算问题的框架。

针对机器学习的兼顾开发效率和执行效率的大规模分布式并行计算框架

在工业应用中，有效数据、特征维度正在迅速攀升。在数据量方面，以往一个机器学习任务仅有几万个数据，如今一个业务的数据量已很容易达到千亿级别。在特征维度方面，传统的机器学习采用“抓大放小”的方式—只使用高频宏观特征，忽略包含大量信息的低频微观特征—进行训练，但随着算法、计算能力、数据收集能力的不断增强，更多的低频微观特征被加入到机器学习训练中，使模型的效果更加出色。

特征频率分布

机器学习技术也在工业应用中不断发展，最早期的机器学习工业应用只利用宏观特征、简单模型，到后来发展为两个不同的流派：以微软、雅虎为代表的只利用宏观特征但使用复杂模型流派，以谷歌为代表的使用简单模型但利用微观特征流派，到现在，利用更多微观特征以及复杂模型去更精细地刻画复杂关系已是大势所趋。这便对模型训练提出了更高的要求。

其一，训练系统需要分布式并行。由于功率墙（Power Wall，芯片密度不能无限增长）和延迟墙（Latency Wall，光速限制，芯片规模和时钟频率不能无限增长）的限制，摩尔定律正在慢慢失效，目前，提升计算能力的方式主要是依靠并行计算，从早期的以降低执行延迟为主到现在的以提升吞吐量为主。在模型训练的高性能计算要求下，单机在IO、存储、计算方面的能力力不从心，机器学习模型训练系统需要分布式并行化。当然我们也需要牢记Amdahl定律。

Power Wall，功耗随着集成电路密度指数提升

其二，训练框架需要高开发效率。机器学习领域里，一个著名的定理叫No Free Lunch[Wolpert and Macready 1997]，是指任意算法（包括随机算法）在所有问题上的期望性能一样，不存在通用的算法，因此需要针对不同的实际问题，研发出不同的机器学习算法。这就需要机器学习计算框架的开发效率非常高。

典型的机器学习建模过程

其三，训练系统需要高执行效率。在面对实际问题时，需要对数据、特征表达、模型、模型参数等进行多种尝试，且每一次尝试，都需要单独做模型训练。所以，模型训练是整个机器学习建模过程中被重复执行最多的模块，执行效率也就成为了重中之重。

机器学习核心系统对计算资源的需求对比