乖兔子的专栏

如果在GPU下安装caffe，需要先安装CUDA5.0或者CUDA5.5。 安装之前，还需要安装的工具有：intel MKL（30天试用版或者学术版），python，numpy，boost_python... 其他python package，可以使用下面的命令安装：sudo apt-get install libprotobuf-dev libleveldb-dev li

Lecture 6. Neural Tips and TricksLecture 6主要介绍了深度学习应用的一些小技巧，例如多任务训练、梯度检测、正则化、多种激活函数、参数初始化、学习速率等。文章目录Lecture 6. Neural Tips and Tricks多任务学习（也叫权重共享）梯度检测正则化非线性神经元SigmoidTanhHard TanhSoft signReLuLeaky...

Lecture 5. Neural Networks这节课我们将要学习神经网络。教授本节课slides是按照单层神经网络的前向计算、损失函数、后向计算，两层神经网络的前向计算，损失函数，后向计算两个方面来讲解以及推导梯度公式。notes III是按照神经元、单层神经网络、最大间隔目标函数、元素级别的后向传播训练、向量级别的后向传播训练这些神经网络的基础来讲解。因为本章的Back Propagat...

Lecture 4. Word Window Classification我们在上节课快结束的时候提到了窗口分类，Lecture 3这节课更详细的介绍了常用分类的背景、窗口分类、更新词向量以实现分类，交叉熵推导经验等，课程的最后5分钟教授简单的介绍了单层神经网络，这部分笔记放在第五节课中。文章目录Lecture 4. Word Window Classification分类背景知识词向量用于窗...

本文档介绍了如何使用BERT实现多类别文本分类任务，适合稍微了解BERT和文本分类的同学参考。（一） 下载首先，在github上clone谷歌的BERT项目，或者直接下载。项目地址然后，下载中文预训练模型，地址（二） 环境准备tensorflow >= 1.11.0注意：在GPU上运行Tensorflow，需要CUDA版本和Tensorflow版本的对应。比如Tensorfl...

Lecture 3. More Word VectorsLecture 3 这节课首先复习了上节课学到的word2vec模型，以及使用梯度下降和SGD优化参数，然后介绍了词向量的内部评测和外部评测，参数对于类比评测任务的影响，处理词义的模糊性和窗口分类等。文章目录Lecture 3. More Word Vectors梯度的更新词向量的评测内部评测 vs 外部评测内部评测示例：词向量的类比内部...

Lecture 2 主要介绍了传统的共现矩阵生成词向量方法和迭代生成词向量的方法，例如word2vec和Glove。文章目录Word Vectorsone-hot vector共现矩阵共现矩阵存在的问题SVDSVD存在的问题word2vec*word2vec的神奇之处*Glove几种得到词向量方法的对比Iteration Based Method一元、二元语言模型CBOWSkip-gramNeg...

Stanford CS224D 课程学习笔记 L01Lecture 1. Intro to NLP and Deep Learning教学大纲知识背景NLP是什么？NLP LevelsNLP应用为什么NLP困难？Deep Learning是什么？探索DL的原因NLP的典型应用Lecture 1. Intro to NLP and Deep Learning​邮箱：houlisha1987@12...

分词原理本小节内容参考待字闺中的两篇博文：97.5%准确率的深度学习中文分词（字嵌入+Bi-LSTM+CRF）如何深度理解Koth的深度分词？简单的说，kcws的分词原理就是：对语料进行处理，使用word2vec对语料的字进行嵌入，每个字特征为50维。得到字嵌入后，用字嵌入特征喂给双向LSTM， 对输出的隐层加一个线性层，然后加一个CRF就得到本文实现的模型。于最优化方法，文本语言模型类

循环神经网络RNN（Recurrent Network）深度学习面临的两个问题： 1. 补偿出现的词通常更有代表意义，更有利于分类，例如“视网膜病变”，这类词很少很少出现。 2. 用不同的词表达相同的意思，例如“cat”和“kitty”，词具有模糊语义。监督学习需要大量带标注的训练数据，现实中带标注数据不多，所以我们考虑非监督学习。深度学习一个重要的理念是：相似的文本往往出现在相似的环境中根据在

占坑

学习笔记：Deep Learning学习资料：优达学院课程《Deep Learning》，Google首席科学家Vincent Vanhoucke讲解视频。下文的大部分内容，我会按照课程分享，也会加上自己的理解。学习笔记Deep Learning从机器学习到深度学习softmax functionone-hot编码cross entropy交叉熵multinomial logistic分类

深度神经网络以及正则化前面我们介绍了简单的线性模型，但是它仍有局限性，接下来介绍非线性模型。首先介绍，偷懒的工程师最喜欢的非线性模型ReLU（Rectified Linear Units）ReLUReLU的函数形式为： f(x)=max(0,x)f(x) = max(0, x)它的导数也非常简单，小于0的时候，导数为0，大于0的时候，导数为1。用ReLU在前面的逻辑分类器的基础上构建简单的非线性模

卷积神经网络CNN（Convlutional Network）平移不变形*translate invariance，位置不同内容不变。权重共享*可以实现平移不变性，当两种输入可以获得同样的信息的时候，则应该共享权重，并利用这些输入共同训练权重。评议不变形和权重共享的思想，使得我们可以用卷积神经网络研究图片，循环神经网络研究文本和序列。概念CNN是一种在空间上共享参数的神经网络，它对图片处理过程如下图

【self-taught learning】快速稀疏编码算法 Self-taught learning是Honglak Lee等开发的一个matlab框架，能够实现他们在论文Self-taught Learning Transfer Learningfrom Unlabeled Data和Efficient sparse coding algorithms中提出的快速实现图像稀疏编码的算法

Caffe是一个计算CNN相关算法的框架，由Yangqing Jia老师编写和维护的，代替了之前的decaf工具。暂时还没有demo。（decaf有demo）。 Caffe的优势：1、所要实现的网络结构可以在配置文件中指定，不需要编码。2、目前在GPU上实现CNN最快，在单个Tesla K20机器上，每天处理20million图片。3、GPU和CPU之间无缝切换。 著作

Caffe训练ImageNet使用的是NIPS 2012 paper论文的算法。 1、准备数据。假设已经下载好数据集和验证集，存储路径为：/path/to/imagenet/train/n01440764/n01440764_10026.JPEG/path/to/imagenet/val/ILSVRC2012_val_00000001.JPEG首选需要创建一个txt文件，列

1、准备数据。可以从MNIST官网上下载数据，或者执行data文件夹里get_mnist.sh文件（需要安装wget或者gunzip），下载成功会有如下两个数据集：/data/mnist-train-leveldb和/data/mnist-test-leveldb. 2、训练和测试模型。我们使用LeNet网络来训练模型，该算法是数字识别的最好方法。LeNet网络中间层定义在

图片风格快速转换的简单web实现图片风格转换，是指利用深度学习算法学习某种风格图片的特征，将其应用到另一张图片中，合成新风格的图片，目前技术较为成熟，github上有很多有趣的项目与应用。本项目核心代码基于fast-neural-style-tensorflow，在此基础上，添加了简单的flask框架，实现了页面上传图片，选择转换风格，生成转换图片并展示的流程。项目的介绍、配置与部署见Git...