人工智能导论----学习笔记

---

第一节：简介

人工智能程序的特点：（和传统的计算机程序的区别）
1.处理对象不仅仅是数据还有知识，信息。知识是对信息进行加工性处理。

2.没有固定的算法，需要用到搜索和检测

3.可能没有唯一解，也可能没有解

当今人工智能的主流方法:符号主义为核心的逻辑推理；数据驱动为核心的机器学习；探索与利用为核心的强化学习(问题为引导)。

经典问题举例：

1. 八字码问题：九宫格移动8个数字到达想要的状态
2. 梵塔问题Hanni
3. 迷宫问题
4. 传教士和野人问题
   如果船只能载两人，任何时候当野人比传教士多时就会吃掉。一个思路为N=3，k=2求倒解
5. 推销员问题TSP
   蚁群算法
6. 一字棋问题
7. 四皇后问题
8. 最优化问题

---

第二节：概念辨析以及发展史

1、人类智能是人类智慧的子集，智慧指人的认识能力和思维能力，智能指做事的能力
2、人类智慧：认识世界，改造世界，在改造客观世界过程中改进自身
“反馈——学习——优化”
3、把显性智慧特别地成为“人类智能”（人工智能做不了隐性智能的事情）
4、人工智能是显性智慧（人类智能）的人工实现
5、机器智能与“人工智能”等效
6、1949年，第一台可编程的计算机EDVAC投入使用
7、1950年10月，图灵发表了一篇《计算机械和智能》的论文，探讨什么是人工智能，图灵被认为“人工智能之父”
8、第一届人工智能讨论会 1956年夏天，由John McCarthy等人发起
9、第一次浪潮（形成期1956~1969）
1969年，召开了第一届国际人工智能联合会议（IJCAI）
1970年，国际期刊《AI》创刊
10、第二次浪潮（80年代）
1982年 Hopfield 离散的神经网络模型
1984年 Hopfield 连续神经网络模型
11、第三次浪潮（90年代至今）
大计算能力和“深度学习”
1997年IBM的电脑“深蓝”击败世界国际象棋冠军
2016年3月，AlphaGo以4：1击败李世石，打破AL无法战胜人类围棋棋手的局面
2017年5月，AlphaGo以3：0完胜柯洁，彻底超越人类水平
12、
“弱人工智能”只专注于完成某个特别设定的任务，例如语音识别、图像识别和翻译，也包括近年来出现的IBM的Watson和谷歌的AlphaGo,它们是优秀的信息处理者，但却无法真正理解信息。
“强人工智能”系统包括了学习、语言、认知、推理、创造和计划，目标是使人工智能在非监督学习情况下处理前所未见的细节，并同时与人类开展交互式学习。
“超人工智能”是指通过模拟人类的智慧，人工智能开始具备自主思维意识，形成新的智能群体，能够像人类一样独自地进行思维。
13、
(1)功能主义（符号主义）
功能模拟法——计算机技术
学派代表：纽厄尔、西蒙、尼尔逊
又称为逻辑主义、心理学派或计算机学派
原理：物理符号系统假设和有限合理性假设
（2）结构主义（连接主义）
结构模拟法——人工神经网络技术
学派代表：麦克洛奇，皮茨，霍普菲尔德，鲁梅尔哈特
又称为仿生学派或生理学派
原理：神经网络及神经网络间的连接机制与学习算法
（3）行为主义
行为模拟法——感知动作系统技术
学派代表：布鲁克斯
又称为进化主义或控制论学派
原理：控制论及感知-动作型控制系统
14、学习：内部表现为新知识结构的不断建立和修改
外部表现为性能的改善

---

第三节：搜索技术

1. open表：保留所有已生成而未扩展的状态
   close表：记录已拓展过的状态
   进入open表的状态是根据其固执地大小插入到表中合适的位置，每次优先 取出启发估价函数值最小的状态加以扩展

2. 对抗搜索也称为博弈搜索
   在一个竞争的环境中，智能体之间通过竞争实现相反的利益，一方最大化这个利益，另外一方最小化这个利益
   A.最小最大搜索 B.alpha剪枝搜索：改进最小最大搜索
   C.蒙特卡洛（采样而非穷举方法）

3. 蒙特卡洛树搜索：
   1.选择（从根节点直至选择一个叶子节点）
   2.扩展（若L不是终止节点，随机拓展未被访问节点作为后续子节点）
   3.模拟（从节点C出发进行游戏模拟直到博弈游戏结束）
   4.反向传播（用模拟所得结果回溯更新导致这个结果的每个节点中获胜次数和访问次数）

4. 宽度优先：队列（队列中有的不再入列） 先进先出
   深度优先：堆栈 （已经输过过的数不再入栈，栈中有的可以再次入栈） 先进后出

---

第四节：逻辑推理

1、知识图谱（1.归纳推理 2.路径排序）
（1）归纳逻辑程序设计的代表方法FOIL通过“序贯覆盖”实现规则推理
输入：目标谓词P，P的训练样例（正例集合E+和反例集合E-），其他背景知识
输出：推导得到目标谓词P的推理规则
推理思路：从一般到特殊，逐步给目标谓词添加前提约束谓词，直到所构成的推理规则不覆盖任何反例（归纳学习能力）
（2）路径排序：特征抽取，特征计算，分类器训练
生成训练样例——从知识图谱采样得到路径——判断路径是否可链接得到特征向量——训练分类器——预测
机器学习：训练样例——定义特征——模型训练——扩充知识图谱

---

智能优化算法=进化计算+群智能

第五节：进化算法

1、生物进化：繁殖、变异、竞争和选择
进化算法：选择、重组、变异
2、进化算法设计原则：适用性，可靠性，收敛性，稳定性，生物类比原则
3、（1）位串编码——二进制编码，Gray编码（搜索效率更高）
（2）实数编码（不必进行数制转换）
（3）多参数级联编码（有不同的串长度和参数的取值范围）
4、模式定理表明：较优的模式的数目呈指数增长
5、遗传算法

一般步骤：
(1)，采用某一种方法，得到最初的种群
(2)，对群体中的每一个染色体 都计算其适应度
(3)，按照某一规则从这些适应度里选择出一个新的种群
(4)，以一个概率让新种群中的个体进行复制交叉得到一群新的个体
(5)，适当的对群体中的个体进行变异
(6)，循环以上过程

---

第六节：群智能优化

1、群智能算法：受动物群体智能启发的算法
包括：粒子群优化算法，蚁群算法，蜂群算法
2、粒子群算法：速度快，简单易实现
每个粒子的属性：速度，位置，适应值
3、粒子本身所找到的最优解：个体极值
整个种群目前找到的最优解：全局极值

---

第七章：机器学习

1、监督学习:经验风险最小化:仅反映局部数据
结构风险最小化（寻找与经验风险地平衡）
监督学习过程：分类，识别，推荐
2、线性回归：最小二乘法
（1）判别模型：回归模型，支持向量机，Ada boosting
（2）生成模型：贝叶斯方法，隐马尔可夫链
3、支持向量机：SVM找到一个超平面，分开两类数据点
(1)线性可分：最大间隔原则（构造决策函数）
支持向量（在间隔边界上）
(2)非线性可分：引入核函数（内积的回旋）
4、提升算法（Boosting）
在每一次训练弱分类器中，每个样本的权重累加起来等于1
该算法若干弱分类器线性加权组合起来，形成一个强分类器
在所构成的强分类器中，每个弱分类器的权重是不一样的
5、回归和分类的区别
监督学习分为回归和分类
回归：值域为连续空间 （价格、温度）
分类：值域为离散空间 （人脸）
6、K均值聚类（K-means算法）
（1）选择c个类的初始中心
（2）将样本归类
（3）利用均值更新该类的中心值
（4）对所有聚类中心，迭代更新值不变则结束
（*）终止条件：达到迭代次数上限或前后两次迭代聚类质心基本不变
7、主成分分析（特征降维方法）
（1）奥卡姆剃刀定律：简单有效原理
（2）方差：描述了样本数据的波动程度
协方差：针对多维数据，衡量两个变量之间的相关度
（3）协方差大于0（XY正相关） 协方差等于0（XY不相关，不相互影响）
（4）皮尔逊相关系数越大，线性相关程度越大
皮尔逊系数为0表明两者不存在线性相关关系
（正线性相关：X增加，Y也随之增加）
（5）方差用来度量数据和数学期望的偏离程度
N维特征数据投影到l维空间，要使每一维上样本方差都尽可能大
（6）最优化的方差等于原始样本数据的协方差矩阵的特征根之和
8、深度学习
（1）把原始数据通过“简单的但非线性”的模型转变
（2）核心：使用“通用的学习过程”从数据中学习各层次的特征
（3）结构：简单模块的多层栈，许多计算非线性输入输出的映射
（4）优点：通过学习一种深层非线性神经网络结构，实现表征输入数据分布式表示
（5）浅层学习：分段学习（识别，分类，聚类）
深度学习: 端到端的逐层抽象、逐层学习