本文参考自周志华在2016年计算机大会上的演讲。
alphaGo的不足是鲁棒性、自适应,去重鲁棒性,则所有的问题都近乎完美的解决了。比如人类犯错时,水平从九段降到八段;而机器犯错时水平从九段降到业余。
面向大规模多源异构数据鲁棒性表达, 结构(化)与统计(随机)相结合模式识别
跨领域跨模态迁移学习(张三的知识如何让李四获取)
现在是大数据时代,但是大数据不等于大价值,中间还需要数据的分析与挖掘。
计算学习理论中最重要的一个理论模型就是概率近似正确模型 —— PAC。
每个神经元就是一个所谓的 M-P 模型。一个神经元其实就是这么一个函数,我们所谓的神经网络其实就是很多这样的多层函数嵌套形式的数学模型。
DL2006年发表,2012年在imagenet上一鸣惊人。但因为在多隐层传播是出现的梯度误差无法收敛问题,是的有多深的问题一直困扰着工程界。
增加隐层数(2015微软用了152层的网络夺冠imagenet)优于增加节点数。
DL不可能一同江湖,很多时候“初始表示”与“合适表示”差别不大。
GPU是趋势,DL只是目前最合适GPU的方式。似乎周大神对DL不怎么感冒^_^