深度学习（二）大数据智能

第一章：概述

       1.1.2 连接主义、符号主义

1.1.4 逐层预训练

1.1.5深度学习用武之地

1.分类 Andrew Ng （Rain, et al.2009）

2.结构分类 实时翻译 邓力（socher,et al 2013）(socher,et al.2012)(Devlin,et al.2014)  

             Skype translate介绍：http://www.msra.cn/zh-cn/research/speech-to-speech-timeline.aspx   

   软件下载：https://www.microsoft.com/en-us/translator/apps.aspx

3.回归

1.2.1 《计算机与人脑》（冯诺依曼）《理想国》《新工具》

1.5 hinton 2006 深度神经网络参数预训练

               Vincent et al. 2008 自动编码器 auto-encoder：逐层训练，最后微调（fine tuning），每层都尽量还原上一层的信息。

统计机器翻译中的IBM模型：用复杂模型的简化版本进行训练，并将简化版本参数作为复杂模型的初始值。EM迭代方法严重依赖初始值。

1.6.1深度学习带来了什么

1.强调了数据的抽象

2.强调了特征的自动学习

3.对连接主义的重现

1.6.2深度学习尚未做到什么

1.缺少完善的理论

诡异的故事：你得到一个很好的的模型，然后发现了一个bug，修复bug以后发现效果明显不如有bug的模型。哈哈哈，上帝之手在干涉啊！

1.7回顾

受限波兹曼机

www.cs.toronto.edu/~hinton/

ufldl.stanford.edu./wiki/index.php/UFLDL_Tutorial  Andrew Ng写的关于deep learning的tutorial

deeplearning.net/tutorial bengio组的tutorial

deeplearning.net/deep-learning-research-groups-and-labs 列举了于深度学习相关的研究机构

第二章：知识图谱

2.4.1

实体识别，实体消歧

三元组实例

2.4.4知识表示

TransE

bordes,et al. 2013

人类知识类型的探索 tenenbaum et al. 2011

2.6

知识表示，knowledge representation: russell & norvig 2009 了解发展历程

关系抽取：nauseates, et al. 2013)(nichel et al. 2015)了解相关技术

3.3.1虚拟化技术

      LXC Docker

google file system(Ghemawat et al. 2003)   MapReduce(Dean & Ghemawat 2008) 

Bigtable(Chang, et al. 2008) 

YARN Yet Another Resource Negotiator

HBase实现Bigtable论文提出的基于列的分布式存储

Hadoop

ZooKeeper编写分布式软件所需的常用工具