本文是Brief History of Machine Learning 的译文,原文链接:http://www.erogol.com/brief-history-machine-learning/
文章目录
-
- 1949年 Donald Hebb(赫步):赫布理论
- 1952年 Arthur Samuel(亚瑟·塞缪尔):西洋跳棋程序
- 1957年 Rosenblatt(罗森布拉特):感知机
- 1960年 Widrow(威德罗):差量学习规则
- 1969年 Minsky(明斯基):异或问题
- 1970 Linnainmaa:反向传播(BP)算法雏形
- 1986年 J. R. Quinlan(昆兰):决策树(ID3)
- 1995年 Vapnik(万普尼克) 和 Cortes(科尔特斯) :支持向量机(SVM)
- 1991 2001 Hochreiter(霍克赖特): 梯度损失
- 1997 Freund(弗洛恩德) 和 Schapire:Adaboost
- 2001年 Breiman(布赖曼) :随机森林(Random Forest:RF)
- 2005年 Hinton、LeCun、Bengio、Andrew Ng 深度学习
- Bandit 算法 (通常称为在线学习)
1949年 Donald Hebb(赫步):赫布理论
1949年,Donald Hebb(赫步)提出的赫布理论——解释了学习过程中大脑神经元所发生的变化,标志着机器学习领域迈出的第一步。概括来讲,赫布理论研究的是循环神经网络(RNN)中各节点之间的关联性。而里面提到的 RNN 具有把相似神经网络连接在一起的特征,并起到类似于记忆的作用。赫步理论的形式化表述如下:
假定反射行为的持续和重复(或称作"痕迹")能够引起细胞的永久改变,进而提高该行为的稳定性…如果细胞A的轴突距离近到可以激发细胞B,并且反复或持续的参与到细胞B的激活中,两个细胞其中之一或者两者 皆会进行增长或发生代谢性变化,使得A激活B的效率得到提升。
1952年 Arthur Samuel(亚瑟·塞缪尔):西洋跳棋程序
1952年,IBM 的 Arthur Samuel(亚瑟·塞缪尔)(被誉为“机器学习之父”)设计了一款可以学习的西洋跳棋程序。它能通过观察棋子的走位来构建新的模型,并用其提高自己的下棋技巧。Samuel 和这个程序进行多场对弈后发现,随着时间的推移程序的棋艺变得越来越好。Samuel 用这个程序推翻了以往“机器无法超越人类,不能像人一样写代码和学习”这一传统认识。而他对“机器学习”的定义是:不需要确定性编程就可以赋予机器某项技能的研究领域。
1957年 Rosenblatt(罗森布拉特):感知机
1957 年时,具备神经科学