浅梦的学习笔记

之前一直用tensorflow和keras，最近在看一些CV领域的paper，发现相关的开源代码很多是pytorch实现的，于是打算学下pytorch。 以下内容主要来于《深度学习入门之Pytorch》这本书。Pytorch基础Tensor张量 名称 类型 torch.FloatTensor(默认类型) 32位浮点 torch.DoubleTen...

图表示学习我们都知道在数据结构中，图是一种基础且常用的结构。现实世界中许多场景可以抽象为一种图结构，如社交网络，交通网络，电商网站中用户与物品的关系等。目前提到图算法一般指：经典数据结构与算法层面的：最小生成树(Prim,Kruskal,…)，最短路(Dijkstra,Floyed,…)，拓扑排序，关键路径等概率图模型，涉及图的表示，推断和学习，详细可以参考Koller的书或者公开课图...

之前我们介绍过DeepWalk，DeepWalk使用DFS随机游走在图中进行节点采样，使用word2vec在采样的序列学习图中节点的向量表示。与DeepWalk不同的是，LINE既可以用于无权图，也可用于带权图中。在之前提到过，不同的graph embedding方法的一个主要区别是对于图中顶点之间的相似度的定义不同。LINE 算法原理一种新的相似度定义first-order prox...

半年前写过一系列关于Graph Embedding技术的介绍文章，【Graph Embedding】DeepWalk：算法原理，实现和应用【Graph Embedding】LINE：算法原理，实现和应用【Graph Embedding】Node2Vec：算法原理，实现和应用【Graph Embedding】SDNE：算法原理，实现和应用【Graph Embedding】Struc2Vec...

本文简单介绍了人脸识别和神经风格迁移的相关内容。

本文介绍了物体检测的相关概念，包括物体定位，物体检测，YOLO算法和基于Region proposals的方法。

本文介绍了经典CNN架构，LeNet-5,AlexNet,VGG,ResNet,Inception以及一些使用上的技巧和建议。

主要介绍了卷积神经网络的基本概念，Padding和Stride，卷积的计算方式，池化层，卷积和池化的反向传播等

seq2seq基础模型 Sequence to Sequence Learning with Neural Networks Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine TranslationBeam Search and Bleu Score待补...

RNN model模型架构 BPTT 不同类型的RNN梯度爆炸和梯度消失出现原因 解决梯度爆炸检测梯度裁剪 截断BPTT解决梯度消失很难检测 如何解决LSTM,GRUReLU激活函数循环权重矩阵初始化方法Skip conn...

词嵌入简介 Linguistic regularities in continuous spaceword representations A Neural Probabilistic Language ModelWord2vec&GloVeword2vecCBOW&Skip-gram Efficient Estimation ...

本文介绍了卷积网络的三个重要思想，稀疏连接，参数共享，等变表示。介绍了卷积和池化，以及输出维度和参数量的计算。

本文介绍了深度学习中参数的初始化对训练的影响以及常用参数初始化策略，标准初始化，Xavier初始化，He初始化。

本文介绍了RNN，双向RNN，seq2seq架构，LSTM,GRU等，以及长期依赖的解决方案，截断梯度等。

本文介绍了深度学习引入非线性激活函数的原因，和几种常用的激活函数，sigmoid,tanh,relu,leaky relu,prelu,maxout.

深度学习正则化方法，包括参数范数惩罚,Dropout,数据增强,early stopping等。

本文介绍了深度学习中优化的若干问题，包括小批量梯度下降，SGD和动量方法，自适应学习率算法，二阶近似算法，批标准化和坐标下降等

本文介绍了TensorFlow中Graph和Session的相关概念，以及计算图中Node和Edge的关系。

本文主要记录了TensorFlow中的常数，变量，数据类型，数学运算规约操作和占位符的相关内容。了解这些基本概念和操作，对于之后使用TF会非常有帮助。

本章主要是利用前两章学的内容用TensorFlow实现一下线性回归和逻辑回归。

本节将通过word2vec实例讲解如何有效地构建结构化的模型。 本节涉及到的部分NLP内容由于我本人理解有限也没有具体写出，建议查阅相关资料。

本章主要讲了如何管理实验，包括保存实验步骤，结果，重现实现结果等。由于深度学习的训练过程需要大量时间，如果训练过程中出现意外导致训练停止，那么重新进行训练的时间损失是很大的。我们需要一种机制能够随时停止我们的训练，并且随时恢复训练。另外，由于训练过程设计了很多随机操作，如何数据集划分，参数随机初始化等，我们也需要一种方法能够控制这些随机因子使得不同的人拿到我们的程序能够跑出相同的结果

主要介绍了TF中的卷积操作和变量域。

RNN,LSTM,GRU,语言模型