willduan的博客

关于DBN我一直有以下三个问题：1.什么是complementary priors？2.为什么说RBM展开后可以当成sigmoid belief network with tied parameters呢？3.为什么Greedy Layerwise Training可以把DBN的每层当成RBM来训练呢？经过这几天的冥思苦想，我得出来了一些对于我个人来说比较可以接受的解释，这

在生活中不可避免会出现色情视频，因此视频的鉴定就成为了我们需要解决的问题，本博客在NSFW项目（见下面参考文献）的基础上面改进了封装，用来检测视频是否是色情视频。首先，这个项目是基于Caffe 的，使用的网络结构是ResNet网络（可以查看参考文献中的论文）。为了完成对视频的检测，博主使用了FFMPEG，用来从视频中提取帧数，每20秒提取一次图像，当然为了检测更加精确，可以在后面修改间隔时间。

最近刚刚接触到了K80 GPU，第一步需要安装cuda，安装的过程还是花了一点时间的，如果找到好的教程的话会事半功倍，那么接下来也记录一下自己的安装过程。1. 下载 CUDA tool run版本。 下载地址：https://developer.nvidia.com/cuda-toolkit-archive2. 升级Linux 对应版本的内核：sudo apt-get instal

最近需要调参数，搜到一篇论文详细比较了目前主要的激活函数，写的挺详细的。主要比较了ReLU，Leaky ReLU， Randomized Leaky ReLU（PReLU），写的挺详细的。ReLu：Leaky ReLU：lambda 通常在(0,1)开区间。Randomized Leaky ReLU（PReLU）：最后给出一张对比图：

集成学习主要分为 bagging， boosting 和 stacking方法。本文主要是介绍stacking方法及其应用。但是在总结之前还是先回顾一下继承学习。这部分主要转自知乎。1. Bagging方法： 给定一个大小为n的训练集 D，Bagging算法从中均匀、有放回地选出 m个大小为 n' 的子集Di，作为新的训练集。在这 m个训练集上使用分类、回归等算法，则可得到 m个模...

这篇博文总结一下损失函数，这里重点总结一下常用的损失函数。softamx cross entropy losssoftmax 交叉熵损失函数是我们常用的一种损失函数，其公式如下： E(t,y)=−∑jtjlogyj E(t, y)=-\sum_j t_j \log y_j 其中，t 和 y 分别表示神经网络的目标标签和输出， yjy_j 表示softmax损失函数： yj=s

本问主要将两种学习率的调参方法：学习率衰减和学习率对数均匀取值。1. 学习率衰减问题2. 学习率对数均匀取值问题

之前看了很多人介绍网络的优化器optimizer，无奈很多都把简单的东西讲的复杂化了，不容易让人懂，恰好之前看过吴恩达老师的最新的课程，这里结合老师讲的和个人想法写一下，方便别人同时也为自己以后回顾吧。深度学习的优化算法主要有GD，SGD，Momentum，RMSProp和Adam算法吧，还有诸如Adagrad算法，不过大同小异，理解了前面几个，后面的也就引刃而解了。GD算法，SGD算法以及m

由于项目的需要，需要搜集一批有标签的图片，但是人力没有那么多，无法对图片进行分类，所以就先用无监督的方法对用机器对图片自动分类，先富集一批数据，然后再对模型进行训练，于是就想到了k-means算法，但是图片需要提取特征，于是想到了使用SIFT来对图片进行提取特征，提取的方法使用OpenCV的库来进行提取，具体安装OpenCV的方法请参考：点击打开链接。废话不多说，看代码：#-*- enco

学习深度神经网络一段时间了，把当初跑的代码贴上来，这篇代码是跟着极客学院的文档做的，我把指导重新整理和汇总了一下下面贴出来。主要有以下几步：1.  新建module，我命名为my_tensorflow_code，里面新建文件__init__.py，可以是空文件2.  新建input_data.py，用于下载 MNIST 数据集并且当做输入，具体见下面代码:from __future__

上一篇博客讲了一个简单的基于 SoftMax 回归的学习模型，准确率大概在91%左右，这篇构建一个深度卷积神经网络。主要的教程还是来自于极客学院，但是讲的很琐碎，我把自己整理的思路和最后写的完整的代码在这篇博文中呈现出来。这篇文章大致构建的网络结构如下：输入层-->卷积层-->卷积层-->密集连接层-->输出层。其中每一个卷积层中还有max pooling，用来进行降维，输出层中是一个so

在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题，但是，一开始我们的模型往往是欠拟合的，也正是因为如此才有了优化的空间，我们需要不断的调整算法来使得模型的表达能拿更强。但是优化到了一定程度就需要解决过拟合的问题了，这个问题也在学术界讨论的比较多。（之前搜了很多有的博客，讲的都不太全，因此我重新整理总结了一遍，同时加入了自己的理解，方便自己和后来人查阅）1. 欠

这篇文章主要讲使用 TensorFlow 进行 Logistics Regression 训练。本文要解决的问题是使用逻辑回归解决一个二分类问题，即给定了人口普查的数据如人的年龄，性别，教育程度和职业，来预测一个人的年收入是否超过5万美元，如果超过则输出1，否则输出0。1. 模型简单解释下面先简单看一下本模型的logistic regression定义。

参考文献：http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650722126&idx=4&sn=96b2fa1fe3fc858d415ddddf2ac3f8e5&chksm=871b0b30b06c82262fec886bc76b0427542dcf8b1fb4bae62d851d032e4fc22d247e981f263f&mpsh

参考文献：https://github.com/anishathalye/neural-stylehttps://arxiv.org/pdf/1409.1556.pdf

由于工作的需要，需要使用到分词工具，结果调研之后发现有专门的日语分词工具可以很好地对日语进行分词，于是记录下来安装和简单的使用测试过程。首先使用的系统是Mac OSX，python版本是python3.1. 有直接源码可以安装的，但是为了方便还是使用HomeBrew来进行安装。下面使用HomeBrew进行安装。$ brew install mecab$ brew install me

看到一篇博客文章，里面阐述了很多股票的量化因子，学习了一番，但是解释的不是很细，我之后又详细查询了很多，形成了这篇文章，特此记录一下，为自己和后来人查询使用。 最近在看《量化投资数据挖掘技术与实践（MATLAB版）》。学习了其中的常见的股票衍生变量，并且利用WIND金融数据终端的matlab借口windmatlab导出一些数据进行了一个简单的学习。特此记录。1. 移动平均线 移...