AI发展历程
1.人工智能发展的五个阶段
(1)第一阶段——AI的产生(探索普遍的思维规律,四五六十年代):早期的AI研究(连接主义与符号主义发展)
①人们如何认识AI
早年计算机被认为只能做算术运算。
人们 在思考“计算机能思考吗?”
尝试实现“聪明”的机器。
1956年前只有“智能”没有”人工智能”。
图灵(1950年):
提出了机器学习、强化学习、遗传算法的概念。
“可以尝试制作模拟儿童大脑的程序”
对如何评测系统有智能,提出了图灵测试。
麦卡锡(1956年):
提出了“人工智能(AI)”的概念。
“AI是寻求用计算过程来解释和模拟智能行为的研究领域。”
AI程序复制人的才能,能创造会使用语言,会改进自己。
②总体特点
致力于探索普遍的思维规律。
从神经网络出发开始研究。
符号系统和逻辑推理盛行。
会学习的博弈程序出现。
③代表性工作
Dartmouth会议,1956年,John McCarthy,10位研究者参与,为期两个月,提出“人工智能”。会议之后,人们投入极大的热情研究AI(特别是符号主义)。
连接主义的代表工作:1943年Warren McCuloch和WalterPitts提出了人工神经元模型,被认为是最早的人工智能工作。认为任何函数可通过网络实现,网络能够学习。
1949年Donald Hebb提出了一条更新神经元之间连接强度的学习规则,称为赫布型学习(Hebbian learning),至今仍有影响。认为相邻的神经元同时被激活了,则它们的联系应强化。
1950年Marvin Minsky和Dean Edmonds构建了第一台神经网络计算机(SNARC),说明神经网络可以用计算机硬件模拟。
早期神经网络的其他工作:认为大量元素可共同表示一个单独概念。加强了赫布学习方法(1960,1962)。发现了感知机收敛定理(1962)。建立后向传播学习算法(1969)。有了通过样本训练网络参数的理念及具体算法。
符号主义的代表工作:CMU的Newell和Simon的逻辑理论家程序LT,能证明《数学原理》第2章中大部分定理。随后研制了通用问题求解器GPS 模拟人类求解问题。IBM的Herbert Gelernter(1959)研制了几何定理证明器。GPS考虑子目标与可能的行动顺序类似于人类处理相同问题的顺序。通过符号形式化地描述和求解问题。
IBM的Arthur Samuel(从1952年开始)编写出西洋跳棋程序。告诉人们:程序下棋水平可通过学习提高。
John McCarthy1958年在MIT的工作:定义了人工智能语言LISP,发明了分时技术,发表了论文《有常识的程序》,其中提出了“意见采纳者”(Advice Taker)假想程序。1965年,Robinson提出归结方法(一阶逻辑定理证明算法),“意见采纳者”的实现有了算法依据。AI问题的描述需要有力的工具,如LISP;知识可从程序中分离出来。
)第二阶段——第一个冬天(探索普遍的思维规律遇到了困难,六七十年代):早期的AI程序遇到了困难(机器翻译失败,组合爆炸问题,感知机有“局限”)
①人们如何认识AI
在Dartmouth会议之后,AI研究取得成功,人们大胆预言人工智能。Simon(1957):10年内计算机成为世界象棋冠军10年内机器将证明一个重要的数学定理。
②总体特点
Simon说了无法兑现的大话。
AI的资助投入几乎降到0。
AI进展缓慢,没有重大成果。
困难重重。
③代表性工作
遇到的困难的几个典型:
第一种困难是,早期的人工智能程序对问题的主题一无所知。例如机器翻译领域,说明机器翻译需要背景知识。
第二种困难是,人工智能程序试图求解的许多问题的不可操作性。例如由于规模太大:归结定理证明器受挫了。Samuel的下棋程序0:4输给Helmann(1966)。为了将搜索空间变小,需要领域启发知识。1973年,莱特希尔报告(Lighthill Report)批评人工智能,英国政府因此取消了几乎对所有的人工智能研究。
第三种困难是,用于产生智能行为的基本结构具有某些根本局限。Minsky和Papert(1969)的《感知机》批评了感知机,认为它有缺陷。无法判断两个输入是相同的还是不同的。草率地下了结论。
(3)第三阶段——基于知识的系统(求助领域知识,七八十年代):基于知识的系统盛行,专家系统商业化
①人们如何认识AI
AI早期研究通用的搜索机制,被称为弱方法——探索广泛普遍的思维规律。不能扩展到大规模或闲难的问题。
“现实的闲难”迫使研究者从弱方法转向使用更强有力的领域相关的知识,这种方法更容易处理封闭的专门领域的典型情况。可以称之为强方法。
弱方法:建立通用搜索机制,串联基本的推理步骤得到完整解。强方法:使用强有力的领域相关知识;“要求解一个难题,你必须已经差不多知道答案”。
②总体特点
专家系统是这个时期的主要旗帜。
商业领域大规模研发和使用专家系统。
自然语言理解领域也呼唤领域知识。
③代表性工作
在“使用更强有力的领域相关的知识”的思想的指导下:1969年,Feigenbaum等在斯坦福开发了第一个专家系统:DENDRAL程序。不使用专家知识的情况下:DENDRAL程序生成与分子式一致的全部可能的结构,然后预测每种结构可能观察到的质谱,再与真实观察到的质谱比较,对于中等大小的分子,这是不实际的,因为候选太多。
DENDRAL的研究者从分析化学家那里了解了他们是通过寻找质谱中的尖峰模式进行分析的(这就得到了相关规则),这些模式暗示了分子的子结构,从而减少候选范围。从领域专家那里获取知识,形成规则。
Feigenbaum和Buchanan以及Edward Shortliffe医生开发了MYCIN,用于诊断血液传染。MYCIN有450条规则,表现得与某些专家一样好,且比初级医生好很多。吸收了称为确定性因子的非确定性演算。
商业领域大量研发和运用专家系统。数据设备公司(DEC):专家系统R1每年为公司节省4千万美元。杜邦公司(DuPont)每年节省1千万美元。AI产业从1980年开始暴涨(数百万-数十亿美元)。
自然语言理解研究者也重视领域知识。Winograd(1972)为积木世界设计的自然语言理解系统SHRDLU。一些研究者提出:鲁棒的语言理解将需要关于世界的一般知识和使用知识的一般方法。自然语言理解导致了对可行的知识表示方法的需求增长:Prolog语言,PLANNER,语义网。
(4)第四阶段——第二个冬天(AI计划失败,求助严格的数学理论,以HMM和贝叶斯网络为代表,九十年代OO年代):五代机等AI计划失败。用科学方法研究AI。神经网络回归。智能Agent出现。
专家系统成功,Prolog语言被推出,日本、美国、英国都宣布国家层面的人工智能计划。日本:第五代计算机计划;美国:组建微电子和计算机技术公司;英国:艾尔维报告。
①人们如何认识AI
日本、美国、英国相继宣布AI计划失败。各研究机构的很多计划也停止。人们认为AI应用严格的数学建立理论基础。一些有影响的AI创建者认为AI应该少把重点放在改进对特定任务的表现,例如下棋,AI应回即人类到它的根,“会思考、学习和创造”级AI。强调协作式的问题求解,产生了分布式AI。智能来自于群体性的交互以及由此带来的涌现。
②总体特点
人们开始采用科学方法研究AI,杂乱派转向优雅派,寻求建立AI的数学理论基础。神经网络回归:后向传播算法重新被发现。智能Agent出现,AI与其他领域更靠近了:这一时期相对前一时期而言热情从春天退到了冬天,但AI仍有进展。
③代表性工作
AI的理论基础有突破:
代表性理论:HMM、贝叶斯网络、神经网络的理论框架。
语音识别:隐马尔科夫模型HMM主导口。
机器翻译:基于单词序列的方法又被捡起。
李开复1988年的博士论文发表了第一个基于隐马尔科夫模型(HMM)的语音识别系统Sphinx被《商业周刊》评为1988年美国最重要的科技发明。
HMM为语音设别和机器翻译提供了数学理论。
概率和决策理论领域:提出了贝叶斯网络。规范了专家系统:根据决策理论的法则理性地行动,并不试图模仿人类专家的思考步骤。贝叶斯网络为不确定推理提供了数学理论,使专家系统可以有效地处理不确定性的知识。
使用贝叶斯网络的专家系统实例:Munin系统(1989):诊断神经肌肉素乱;Pathfinder系统(1991):用于病理学;CPCS系统(1994):用于内科医学;发电机监测(Morjaria等,1995);参考老鼠基因识别人类基因(Zhang等,2003)。可参见《贝叶斯网络:应用实践指南》(Pourret等,2008)。
神经网络:20世纪80年代中期,至少4个不同的研究组重新发明了由Bryson和Ho于1969年首次建立的后向传播学习算法。神经网络领域通过改进的方法和理论框架,已经可以和统计学、模式识别、机器学习等领域的对应技术相提并论。数据挖掘是这些领域发展的结果。神经网络的理论框架逐渐完善(网络结构的类型和学习算法)。
智能Agent开始出现:John Laird(1987)提出了完整Agent,在现实环境中有连续传感器输入的Agent如何行动。例如,机器人、自动驾驶汽车。换个角度看问题。从Agent的角度看人类,从Agent的角度看智能实体。
研究者们开始审视“完整Agent”人们发现孤立的AI子领域需要综合起来。推理和规划系统必须能够处理不确定性。Agent观点导致AI与其他领域已经被拉得更靠近了。无人驾驶的进展来源于许多方法的混合,以及一定程度的高层次规划。从Agent角度看问题促进了无人驾驶的进展。
(5)第五阶段——大数据和机器学习(对数学理论的探索为深度机器学习提供了数学基础,OO年代起):大数据出现。机器学习兴起。
①人们如何认识AI
已经可以获得大数据,主要归功于互联网。前60年关注算法,现在数据更重要。人们认为:多关心数据而不必太挑剔所用的算法会更有意义。例如照片补洞的问题(Hays,Efros,2007)。AI的“知识瓶颈”有时可用机器学习方法从数据中获得,而不是手工编码的知识工程。新闻记者Halevy(2009):人工智能的冬天也许正释放出一个新的春天。
深度机器学习是新人工智能革命的推手。深度学习方法的不可避免的局限性时,会重新求助传统的人工智能形式,人们应保持对其他领域发展敏锐的感知力。机器仍无真正意义的思考。
②总体特点
大数据+机器学习+高性能计算用到各个领域。
③代表性工作
大数据方面的代表:斯坦福主导建立了ImageNet大数据库。
机器学习的标志性工作:2006年Hinton在《科学》上发表论文指出:多层神经网络有很强的特征学习能力,可采用逐层训练法解决难训练的问题。2012年深度神经网络在mageNet上取得了惊人的结果。“深度学习”开始家喻户晓。机器学习+大数据+高性能计算成为趋势。
运用深度机器学习的代表:在人脸识别领域,识别正确率达到99.47%超过人类的识别水平。在围棋领域2016年AlphaGo已经超过人类冠军的水平。在语音识别领域,百度2014推出深度语音识别系统,微软在GitHub上发布开源深度学习工具包。机器已经可以实时地将播音员的语音转换为文字。
在机器翻译领域,Google(2016)推出了神经机器翻译系统GNMT。在计算机视觉领域。已经能够比人类更好地执行一些视觉分类任务。目前正致力于为图像和视频自动添加字幕。在机器人领域。深度学习刚开始。视觉力和触觉感知大部分将由机器学习驱动。
AI100:微软Eric Horvitz,能持续100年的研究项目,分析和预测人工智能将如何影响人类,在未来100年,每5年撰写一个报告。AI100报告观点:数据和深度学习将淹没基于模型的方法。物联网型的系统(设备和云)将变得越来越受欢迎。未来15,人类意识系统的开发会受到更多关注。开发互动和可扩展的方式来教机器人。深度学习方法的不可避免的局限性出现时,人工智能的传统形式重新出现。
2. 总结
一:四五六十年代,早期的人工智能
致力于探索普遍的思维规律,研制了大量的AI程序。
二:六七十年代,AI计划几乎全面取消
探索普遍的思维规律遇到了困难,停滞不前。
三:七八十年代,基于知识的系统
思考前期AI遇到的困难,求助领域知识导致专家系统出现。
四:九十年代O0年代又一个冬天
三国的AI计划失败,AI再次缓慢发展。求助数学理论,代表是HMM和贝叶斯网络。
五:00年代一0年代,新的春天
数学理论的沉淀给深度机器学习带来有效的学习方法。大数据和机器学习兴起。