第一次作业：深度学习基础

第一部分：深度学习概论

1956年，达特茅斯会议首次提出“人工智能”的概念，随后人工智能经历了三次起伏。

人工智能的三个层面：计算智能（主要是计算和存储）、感知智能（有感知，能听说，会看，例如无人驾驶）、认知智能（有意识，能理解，能思考）。

人工智能、机器学习与深度学习

人工智能>机器学习>深度学习

人工智能中包含机器学习，机器学习通过是否使用神经网络划分为神经网络和传统机器学习，而运用深度神经网络的才是深度学习。

机器学习

定义：从数据中自动提取知识

机器学习的学习从模型（确定假设空间）、策略（确定目标函数）和算法（求解模型参数）三个方面学习。

（一）绪论

深度学习

从感知器开始

深度学习发展的三个助推器：大数据、算法、计算力

过去应用研究：特征提取、物体检测、语义标注、实体标注

未来应用走向：视觉+语言：描述生成、多媒体问答、多媒体叙事

理论研究：从“能”到“不能”

        （1）算法输出不稳定，易被攻击。

        （2）模型复杂度高，难以纠错和调适。

        以上两点需要找到对输出影响最大的点来解决。

        （3）模型层级复合程度高，参数不透明。

        （4）人类知识无法有效监督，机器偏见难以避免。

           双向：算法能被人的知识体系理解+利用和结合人类知识

        （5）专注直观感知类问题，对开放型推理问题无能为力。（乌鸦和鹦鹉）

        （6）端到端训练方式对数据依赖性强，模型增量性差。（语义标注关系检测需要新的模型）

            知识能够得到有效存储、积累和复用

机器学习评估：解释性和泛化性（准确性）

连接主义vs符号主义：对立-->合作

连接主义：自下向上，以统计为核心，深度学习为代表

符号主义：自上向下，以逻辑为核心，知识图谱为代表

相比符号主义，连接主义解释性降低。

（二）神经网络基础

1、浅层神经网络

M-P神经元

按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。

其中Wi是权值，正/负表示兴奋/抑制，大小表示强度

Xi表示输入

表示阈值

f表示激活函数

激活函数：