50.选择管道组件之数据可用性 翻译自 吴恩达新书-Machine Learning Yearning

在构建非端到端系统时,选择合适的组件和设计算法流程至关重要。文章以自动驾驶为例,探讨了如何利用现有数据训练中间模块,如汽车检测器和行人检测器,而非直接采用端到端方法。这种方法在数据收集和系统训练上更具优势。

更多好玩的机器学习教程: 进入袋马学院领一份 ,全部免费?.

当构建一个非端到端系统上时,算法流程中,有哪些可以选的组件呢?如何设计算法流程会极大的影响你的系统性能。其中非常重要的一个因素是,你能否非常轻易的为每个组件都采集到数据。

比如,考虑下面这个自动驾驶的例子:
自动驾驶算法结构
你可以使用机器学习算法检测其他车辆和行人。这种情况下采集数据并不难:有大量的计算机数据数据库中,包含了标记好的汽车和行人。你也可以使用众包(比如亚马逊的Mechanical Turk)来获取更多的数据集。因此很容易获取训练数据,来构建汽车检测器和行人检测器。

相反,在纯端到端方法中:
端到端流程
你需要大量的图片和转向方向对应的数据集。让你一个到处开车并记录转向信息来采集数据,是非常耗时的,而且成本非常高。你需要组建一个装有特殊装备的车队,并让他们到处驾驶,以便覆盖各种可能的场景。这使得端到端系统变得难训练。相反,采集大量标记好的汽车或行人图片,相对简单的多。

更一般的说,如果有大量的数据用来训练流程中的中间模块(比如汽车检测器、行人检测器),那么你可以使用一个多阶段的流程。这种结构可能更好一些,这样你就能使用所有的数据来训练中间模块了。

在没有更多的端到端数据可以之前,我相信在自动驾驶问题上,非端到端的方法还是非常有前景的。它的结构与可用的数据更匹配。

更多好玩的机器学习教程: 进入袋马学院领一份 ,全部免费?.

根据原作 https://pan.quark.cn/s/459657bcfd45 的源码改编 Classic-ML-Methods-Algo 引言 建立这个项目,是为了梳理和总结传统机器学习(Machine Learning)方法(methods)或者算法(algo),和各位同仁相互学习交流. 现在的深度学习本质上来自于传统的神经网络模型,很大程度上是传统机器学习的延续,同时也在不少时候需要结合传统方法来实现. 任何机器学习方法基本的流程结构都是通用的;使用的评价方法也基本通用;使用的一些数学知识也是通用的. 本文在梳理传统机器学习方法算法的同时也会顺便补充这些流程,数学上的知识以供参考. 机器学习 机器学习是人工智能(Artificial Intelligence)的一个分支,也是实现人工智能最重要的手段.区别于传统的基于规则(rule-based)的算法,机器学习可以从数据中获取知识,从而实现规定的任务[Ian Goodfellow and Yoshua Bengio and Aaron Courville的Deep Learning].这些知识可以分为四种: 总结(summarization) 预测(prediction) 估计(estimation) 假想验证(hypothesis testing) 机器学习主要关心的是预测[Varian在Big Data : New Tricks for Econometrics],预测的可以是连续性的输出变量,分类,聚类或者物品之间的有趣关联. 机器学习分类 根据数据配置(setting,是否有标签,可以是连续的也可以是离散的)和任务目标,我们可以将机器学习方法分为四种: 无监督(unsupervised) 训练数据没有给定...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值