jiede1的博客

from __future__ import division, print_function, absolute_importimport collectionsimport osimport randomimport urllibimport zipfileimport numpy as npimport tensorflow as tf learning_rate = 0.1batch_size = 128num_steps = 3000000display_step =

DeepWalk原理介绍与词嵌入类似，图嵌入基本理念是基于相邻顶点的关系，将目的顶点映射为稠密向量，以数值化的方式表达图中的信息，以便在下游任务中运用。Word2Vec根据词与词的共现关系学习向量的表示，DeepWalk受其启发。它通过随机游走的方式提取顶点序列，再用Word2Vec模型根据顶点和顶点的共现关系，学习顶点的向量表示。可以理解为用文字把图的内容表达出来，如下图所示。DeepWalk训练图表示的整个过程大致可以分为2步：随机游走提取顶点序列使用skip-gram学习顶点嵌入训

由于项目需要，需要安装tensorflow-gpu1.5.0到Centos环境下。 环境介绍： Centos7 gcc-4.8.5 python3.5我用的GPU的种类是：GeForce GTX1080 Ti，是英伟达的GeForce系列10的产品。安装TensorFlow-GPU版本需要先安装后GPU。之前的同事已经将gpu安装完毕，但gpu的驱动和cu...

在自然语言处理领域，最开始的学习肯定绕不开one-hot，N-gram，word2vec。下文会快速，简要的介绍这两种技术，至于更多的技术细节，可以参考文章最后的参考文献。在阅读了本篇文章后，读者应该能够达到如下几个目的： 1.明白one-hot，N-gram，word2vec的作用 2.明白one-hot，N-gram，word2vec的数学/网络架构1.词向量...

该章节参考ufldl1.什么是自我学习（Self-Taught Learning）与半监督学习首先，什么是半监督学习？当你手头上拥有在大量未标注数据和少量的已标注数据，那这种场景就可以说是半监督学习。自我学习和半监督学习的场景一样，不过有个细节不一样。自学习(self-taught learning) 是更为一般的、更强大的学习方式，它不要求未标注数据 和已标注数据有同样的分布。而半监督学习不一样

在学习稀疏自编码器之前，需要读者有BP神经网络的基础1. 为什么要用稀疏自编码器  对于没有带类别标签的数据，由于为其增加类别标记是一个非常麻烦的过程，因此我们希望机器能够自己学习到样本中的一些重要特征。通过对隐藏层施加一些限制，能够使得它在恶劣的环境下学习到能最好表达样本的特征，并能有效地对样本进行降维。这种限制可以是对隐藏层稀疏性的限制。   如果给定一个神经网络，我们假设其输出与输入是相同

在学习ufldl课程时需要用到MNIST数据集，主页在这里。但由于该数据集为IDX文件格式，是一种用来存储向量与多维度矩阵的文件格式，不能直接读取。mnist的结构如下TRAINING SET LABEL FILE (train-labels-idx1-ubyte):[offset] [type] [value] [description] 0000 3

在深度学习入门 —softmax回归博客里，我详细说明了softmax回归的算法原理和应用场景，这篇博客会利用Python实现softmax回归算法，包括几个部分：代价函数J()，返回代价值和其对w求导结果梯度检验函数check_gradient()，打印出每个wijw_{ij}对应的偏导结果与检验之后的差异值训练函数train()，预测函数predict()from sklearn.dat

深度学习入门—PCA，白化 已经完整阐述了PCA和白化算法的原理，这篇博客更新其算法的Python实现。代码有很完整的注释。#implement PCAfile=open('/notebooks/pcaData.txt','r')dataSet=[]for text in file: tt=text.strip().split() line=[] for t in tt

引言主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。更重要的是，理解PCA算法，对实现白化算法有很大的帮助，很多算法都先用白化算法作预处理步骤。 假设你使用图像来训练算法，因为图像中相邻的像素高度相关，输入数据是有一定冗余的。具体来说，假如我们正在训练的16x16灰度值图像，记为一个256维向量 x∈R256\textstyle x \in \Re^{256} ，其中特征值

该算法的Python实现，可以查看 深度学习入门—softmax回归 Python实现。本文论述算法原理Softmax可以理解为logistic在多类上的扩展。模型如下：假设我们拥有数据：（x(i),y(i)）,m=0,1,2,...{（x^{(i)},y^{(i)}）,m=0,1,2,...}，此时我们对每一样本，都有假设： 其中 θ1,θ2,…,θk∈Rn+1\theta_1, \theta_

在完成神经网络或softmax回归时，需要进行梯度检验。实际上，所有利用到求代价函数的偏导数的算法都需要利用到梯度检验。通过梯度检验，可以判断求得的偏导数是否正确。梯度检验最核心的目的是，检验下面的式子是否成立： 其中，J是代价函数，g是代价函数的求导值。至于更多梯度下降的说明，读者可以参考这篇文章代码如下：def simple_quadratic_function(x): value

RNN1. 什么是RNNs RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网