吐血整理-周志华演讲合集

前言: 这是整理了周志华老师几个演讲笔记的合集，很齐全啊哈哈哈哈，欢迎大家留言补充

“现在是大数据时代，但是大数据不等于大价值。”
我们要从大数据里面得到价值的话，就必须要有一些有效的数据分析。正因为这个原因，这几年机器学习特别热。这是从人工智能里面产生的一个学科，利用经验改善系统学习。在计算机系统里面，不管是什么经验，一定是以数据的形式呈现的。所以机器学习必须对数据分析，这个领域发展到今天主要是研究智能数据分析的理论和方法。

人工智能的三个阶段：

第一阶段：
在最早的一个阶段，大家都认为要把逻辑推理能力赋予计算机系统，这个是最重要的。因为我们都认为数学家特别的聪明，而数学家最重要的能力就是逻辑推理，所以在那个时期的很多重要工作中，最有代表性的就是西蒙和纽厄尔做的自动定理证明系统，后来这两位也因为这个贡献获得了七五年的图灵奖。
第二阶段：
但是后来慢慢的就发现光有逻辑推理能力是不够的，因为就算是数学家，他也需要有很多知识，否则的话也证明不出定理来。所以这个时候，主流技术的研究就很自然地进入了第二阶段。
大家开始思考怎么样把我们人类的知识总结出来，交给计算机系统，这里面的代表就是知识工程专家系统。像知识工程之父爱德华·费根鲍姆就因为这个贡献获得了 1994 年的图灵奖。
第三阶段：
但是接下来大家就发现要把知识总结出来交给计算机，这个实在太难了。一方面总结知识很难，另外一方面在有些领域里面，专家实际上是不太愿意分享他的经验的。
所以到底怎么解决这个问题呢？我们想到人的知识就是通过学习来的，所以很自然的人工智能的研究就进入了第三个阶段。
这时候机器学习作为这个阶段的主流研究内容，可以看到机器学习本身其实就是作为突破知识工程的一个武器而出现的。但是，事实上并没有达到目的，今天大多数的机器学习的结果都是以黑箱的形式存在的。另外一方面，为什么机器学习这么热门呢？其实恰恰是因为在二十世纪九十年代中后期，我们人类搜集、存储、管理、处理数据的能力大幅度提升，这时候迫切需要数据分析的技术，而机器学习恰恰是迎合了这个大时代的需求，所以才变得特别的重要。
今天的社会，机器学习已经可以说是无所不在了，基本上只要有数据需要分析，可能就可以用到机器学习。
机器学习这个学科里产生出了很多种有效的机器学习的技术和算法，但是更重要的就是机器学习是一个有坚实理论基础的学科，其中最重要的就是计算学习理论。
而计算学习理论中最重要的一个理论模型就是概率近似正确模型 —— PAC。它的提出者 Valiant(维利昂特) 教授也因此获得了图灵奖。

2006 年Hinton 在 Nature 发表了关于深度学习的文章。2012 年他又组队参加 ImageNet，获得冠军。冠军没什么特别的，因为每年都有冠军。但超过第二名 10 个百分点的成绩引起了大家的注意，深度学习就此兴起，现在深度学习的应用越来越广泛了。
所以如果折中一下，从 2010 年至今，深度学习的热潮已经 6 年了。
从技术层面来看，深度学习其实就是很多层的神经网络。所谓的一个神经元其实就是这么一个函数，我们所谓的神经网络其实就是很多这样的多层函数嵌套形式的数学模型，它在一定程度上受到了这个生物神经技术的启发，但是更重要的是数学和工程上的东西在支撑。
提升模型的复杂度可以提升学习能力，增加模型深度比宽度更有效，但提升模型的复杂度并不一定有利，因为存在过拟合和计算开销大的问题。
跳出这些技术细节来看，深度学习最重要的作用是表示学习，自动学习特征。
深度学习何处适用？数据的“初始表示”（例如，图像的“像素”）与解决任务所需的“合适表示”相距甚远。
深度学习会不会“一统江湖、千秋万载”？不会！很多学习任务，数据的“初始表示”与“合适表示”没那么远。

神经网络是相对最容易利用新增计算能力的机器学习表示方法！
所以，在技术层面对于未来的一个判断是：未必是深度学习，但应该是能有效利用GPU等计算设备的方法。
离“超越人类棋手”还远
鲁棒性是关键！
人类犯错：水平从九段降到八段。
机器犯错：水平从九段降到业余。
传统的机器学习任务大都是在给定参数的封闭静态环境中。数据分布恒定，样本类别恒定，样本属性恒定，评价目标恒定。
而现在正在慢慢转向开放动态环境。随着人工智能技术取得巨大发展，越来越多地面临“高风险应用”，因此必须有“鲁棒的AI”。
“好的时候”要好，“坏的时候”不能太坏

关于未来—形态

要分析未来，首先得知道现状。那么机器学习现在的形态是什么？有人会说算法，有人会说数据。
“其实机器学习的形态就是算法 + 数据。”
但是这样的形态下，它有哪些局限性呢？主要分为 3 个大的方面和其他一些小方面：
局限 1：需要大量训练样本；（有些应用中，样本数量少、特定类样本少、有标记样本少）
局限 2：难以适应环境变化；（分布变化：背景随季节变化、属性变动等）
局限 3：黑箱模型。（黑箱模型难以用于高风险应用。自动医疗：若学习器不能给出治疗理由，则难以说服患者接受昂贵的治疗方案）
我们可以看到机器学习的技术局限性仍然很多，当然，我们可以针对每个问题一一解决，但这难免进入一种“头疼医头，脚疼医脚”的境地。所以我们是否可以跳出这个框架，从整体上来解决这些问题呢？
那么我们都知道有硬件（Hardware），有软件（Software），这里提出一个类似于这两者的新概念“学件”（Learnware）：
学件（Learnware）= 模型（model）+规约（specification）
很多人可能在自己的应用中已经建立了这样的模型，他们也很愿意找到一个地方把这些模型分享出去。那以后一个新用户想要应用，也许不用自己去建立一个，而是先到“学件”的市场上找一找有没有合适的，可以拿来使用修改。
比如说，要找一把切肉的刀，可以先看看市场上有没有这样的刀，不会说自己从采矿开始重新打一把刀。如果没有合适的刀，也许会选择一把西瓜刀，然后用自己的数据重新“打磨”一下，让它满足自己应用的需要。
所以，这个想法就是希望能够部分地重用他人的结果，不必“从头开始”。
从模型的角度需要满足 3 个要求