Miracle_520的博客

下载链接

1.语言模型语言模型仅仅对句子出现的概率进行建模，并不尝试去“理解”句子的内容含义。语言模型告诉我们什么样的句子是常用句子（挑选较为合理的句子的作用），但无法告诉我们两句话的意思是否相似或者相反。SeqSeq模型可以看作一个条件语言模型，它相当于是在给定输入的情况下对目标语言的所有句子估算概率，并选择其中概率最大的句子作为输出。假设一门语言的词汇量为V，如果将p(Wm|W1,W2,W3,…W...

此函数指定某些操作执行的依赖关系返回一个控制依赖的上下文管理器，使用 with 关键字可以让在这个上下文环境中的操作都在 control_inputs 执行# 在执行完 a，b 操作之后，才能执行 c，d 操作。意思就是 c，d 操作依赖 a，b 操作with tf.control_dependencies([a, b]): c = .... d = ...#...

1.变量管理1.1Tensorflow通过变量名来创建或者获取一个变量的两种机制：二者最大的区别是指定变量名称的参数，对于tf.Variable是可选的，而对于tf.get_variable变量名称是必须的。tf.get_variable会根据变量名称去创建和获取变量，如果有同名的参数，就会创建失败，这是为了避免无意识的变量复用造成的错误。变量复用会造成一些难以发现的错误。v = tf.ge...

1.RNN循环神经网络有挖掘数据中的时序信息以及语义信息的深度表达能力。循环神经网络的主要用途是处理和预测序列数据。BP和CNN网络，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或部分连接的，但每层之间的节点是无连接的。RNN的隐藏层之间的节点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。每一时刻t，RNN都会针对该时刻的输入结合当...

深度学习的两个重要特性：多层和非线性。线性模型的局限性：任意线性模型的组合仍然还是线性模型。激活函数实现去线性化。多层网络解决异或问题。交叉熵刻画的是两个概率分布之间的距离，交叉熵值越小，两个概率分布越接近。交叉熵函数是不对称的（H(p|q)=H(q|p)），它刻画的是通过概率分布q来表达概率分布p的困难程度。p代表正确答案，q代表预测值。# 对张量中所有元素依次求对数tf.lo...

1.TensorFlow的主要依赖包1.1Protocol Buffer用来处理结构化数据（将结构化数据序列化，从数据流中还原结构化数据）。结构化数据是具有多种属性的数据。要将结构化数据进行持久化或进行网络传输时，就需要先将它们序列化（将结构化的数据变为数据流的格式，简单说就是变为一个字符串）。XML和JSON也是两种常用的结构化数据处理工具。1.2Bazel项目空间（workspac...

手把手在Windows上安装TensorFlow无坑教程ubuntu16.04 安装tensorflow-gpu1.3 cuda8 cudnn6.0Win10下Tensorflow(GPU版)安装趟坑实录新电脑重新安装win10+python3.6+anaconda+tensorflow1.12（gpu版）tensorflow-windows-CUDA版本...

人工智能、机器学习与深度学习人工智能发展的重大挑战：如何让计算机掌握这些人类看起来非常直观的常识？现在人工智能系统更多是应用于特定的环境（specific domain），计算机所要掌握的知识可以很容易被严格并且完整的定义。如何让计算机掌握开放环境下的知识呢？如何定义那些无法明确定义的知识（人类的经验）？机器学习：如果一个程序可以在任务T上，随着经验E（训练数据）的增加，效果P（准确率）也可...

预处

全连接神经网络的问题：全连接层的参数太多。（一张图片的大小为32323，假设第一层隐藏层的节点数为500个，那么一个全连接层的神经网络将有32 * 32 * 3 * 500 + 500=150多万个参数）参数增多导致计算速度减慢，还很容易导致过拟合问题。卷积神经网络的组成：输入层：一张图片的像素矩阵卷积层：卷积层试图将神经网络中的每一小块更加深入地分析从而得到抽象程度更高的特征。...