算法特论学习笔记(2)

学习目标：

機械学習的導入

首先是AI的黎明期

 AI(人工智能)一词诞生于1956年达特茅斯会议，达特茅斯会议是指1956年夏天在美国新罕布什尔州达特茅斯学院召开的研究发布会。

 阿兰·图灵(alan turing)在那次会议前10年就开始研究机器和智能，图灵机(作为计算机模型的虚拟机器)和图灵测试(用于判断某机器是否智能(人工智能)的测试)。

关于神经网络，有2项基础的研究

 (1)All-or-none型信息传达模型化，神经元在阈值以下的刺激不会有反应，超过阈值就会出现一定的反应，而且即使再加强刺激，反应也不会变大。

 

 

(2)突触的可塑性,神经递质通过神经突触(神经元之间的接触结构)进行交换，从而加强联系，反之交换减少，则减弱联系的现象

接下来是决定树的提案

 通过二值分类的积累进行自动判断，以辅助或代替人类为目的进行研究。

 

然后是图灵测试

 测试人工智能的行为是否像人类，人类评判者、另一个人类和一台机器被隔离，仅通过文字来判定智慧，当评判者无法确实区分对方是人还是机器时，机器可以通过测试。

 

其中有几个例子，ELZA(1966年)是心理咨询师，PARRY(1972年)是最接近图灵测试的人。2014年在伦敦举行的测试中，俄罗斯超级计算机以“13岁少年”的身份参加，判定者以33%的比例错误判定为人类。历史上第一次通过图灵测试，图灵测试是测试人类行为举止的测试，掌管思考本身的智慧。

第一次人工智能热潮是在(1960 ~ 1980年)

 专家系统被广泛研究，并且在推论引擎中安装条件分支算法（专家系统是将专家进行的条件判断转录成程序）。

 

之后创造出来2个系统。

（1）dendral，世界上第一个专家系统，斯坦福大学1965年启动的人工智能项目，用质谱法分析和确定不知名的有机化合物，将原本由化学家完成的工作自动化。

（2）mycin，1970年从Dendral衍生出来的医疗现场专家系统。

然后就是讨论人工智能问题，

 帧问题，只有有限信息处理能力的机器人，无法处理现实中可能出现的所有问题，人工智能的重要难题之一。

 性能的极限，能够处理简单假设的问题，迷宫的解决方法，定理的证明等等，现实社会的问题是无法解决的。各种各样的因素共同作用，一变而为冬天的时代。

接下来是第二次人工智能热潮(1980 ~ 2000年)

（1）计算机处理性能的提高，成本持续降低实现大规模集成电路，计算机的处理速度呈指数增长
摩尔定律:1965年英特尔的戈登·摩尔发表了大规模集成电路的集成密度在18 ~ 24个月内倍增的定律。

（2）存储空间的增加，多种数据可以在主存储器中展开。

（3）从国家层面推进人工智能研究，开发具有联想功能和推论功能的第五代计算机。

之后提出了，基于简单感知器的神经网络的提案，

 

 只有输入层和输出层的两层神经元模型，我们发现我们无法对非线性规则进行分类。

和感知器的多层化(多层感知器)方案

 

 

然后讨论计算机系统的极限，无法自行收集并积累必要的信息(数据)，我们需要用计算机能够理解的方式来描述必要的信息，实际可活用的知识量仅限于特定领域的信息等，结果，又进入了寒冬时代。

接下来是，第三次人工智能热潮(2000年～至今)

 贝叶斯统计学促进了机器学习的发展，如贝叶斯滤波器，利用贝叶斯滤波器贝叶斯统计学的贝叶斯定理的机器学习方法，贝叶斯定理是关于条件概率的定理，由皮埃尔-西蒙·拉普拉斯建立。

 

 在工学上被广泛应用，邮件垃圾邮件判定和推荐引擎等。

 关于计算环境的发展，超级计算机所使用的分布式计算也可用于个人电脑和企业服务器，OpenMP:用于利用并行计算环境的标准化基础，GPGPU:将GPU的运算资源应用于图像处理以外目的的技术，CUDA: NVIDIA为GPU提供的C语言集成开发环境，并行计算架构，利用GPU，可提高计算处理能力，Hadoop:通过分布式处理技术实现大规模数据的存储和分析的开源中间件。

 

 

关于深度学习的发展，AutoEncoder和DNN(深度神经网络)提出，AutoEncoder:基于神经网络的维度压缩算法。2006年，杰弗里·辛顿等人提出。

  

DNN:具有深层结构的神经网络，在当时超过四层的神经网络被称为DNN。

 

 之后大家就见证了，深度学习压倒性的性能，在深度学习之前，贝叶斯统计学等基于统计建模的机器学习是主流，在2012年举办的图像竞赛中，由杰弗里·辛顿领导的多伦多大学的深度学习技术获得了压倒性的领先。识别错误的比例比统计建模低10%以上，2015年深度学习比人类认知错误比例(5%)低，证明了，深度学习超过人类的巨大冲击，之后各种企业和大学致力于深度学习的研究。

关于机械学习呢，主要有监督学习、无监督学习和半监督学习三种

 有监督的学习:给学习数据标上正确答案的方法

 

无监督学习:不给学习数据标注正确答案的学习方法

 

半监督学习:从有部分正确答案标签的数据中学习的方法