台大林轩田《机器学习基石》学习笔记：先导概念与抽象模型

本文链接：https://blog.youkuaiyun.com/qq_22717679/article/details/51178429

本文是作者学习台大林轩田教授《机器学习基石》课程后整理的简要笔记（未按课程回目分节），内容大部分来源于林轩田教授的课程资料，其余相关参考链接已标出。

先导概念 - Conception

由观察（observations）出发，经过学习，得到某种技能（tools），类似的，由数据资料（data）出发，经过机器学习，得到某种表现的提升（improvedperformance measure）
关键词：数据，预测，表现提升
起初由人脑学习出发，得到处理问题的模式和规则，编程抛给机器，机器按照既定程序，对输入的数据进行处理，得到输出。核心学习过程是由人完成的。而机器学习的出现，是为了解决诸如下面场景中的问题：人脑学习无法找到规则，人脑处理速度跟不上数据更新需求，人脑能承受的数据复杂度有限，机器必须独自面对未知数据寻找未知模式……

应用机器学习来解决问题有几个关键点：

有潜在的模式可以学习（学习结果存在）
编程不能或很难解决（学习的必要性）
有相关数据（学习来源）

抽象模型 - Abstract model

机器学习流程图（主干）：

f	target function	Unknown / target distribution(contain noise)
D	training examples	(X, y)：X —input-data vector / y—output ; size->N
A	learning algorithm	Use it to choose g
h	hypothesis	w—weight vector (w₁,w₂,w₃,...,w_d)
H	hypothesis set	Contain all candidate formulas ; size->M
g	final hypothesis	H+A→