zhongshaoyy的博客

如果用公式  y=f(wx+b)来表示整个运算过程的话，那么w和b就是我们需要训练的东西，w称为权值，在cnn中也可以叫做卷积核（filter），b是偏置项。f是激活函数，有sigmoid、relu等。x就是输入的数据。数据训练完成后，保存的caffemodel里面，实际上就是各层的w和b值。我们运行代码：deploy=root + 'mnist/deploy.pr

可能很多tensorflow的老版本玩家没见过这个东西，slim这个模块是在16年新推出的，其主要目的是来做所谓的“代码瘦身”。但事实上它已经成为我比较喜欢，甚至是比较常用的模块，github上面大部分tensorflow的工程都会涉及到它，不得不说，撇开Keras，TensorLayer，tfLearn这些个高级库不谈，光用tensorflow能不能写出简洁的代码？当然行，有slim就够了！惟一...

Network In Network学习笔记原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50458190作者：hjimce一、相关理论本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采

本文是阅读Hinton 大神蒸馏神经网络论文的笔记，特此说明。此文读起来很抽象，但是和我的研究方向：神经网络的压缩十分相关，因此决定花气力好好理解一下。 1、Introduction  文章开篇用一个比喻来引入网络蒸馏：昆虫作为幼虫时擅于从环境中汲取能量，但是成长为成虫后确是擅于其他方面，比如迁徙和繁殖等。同理神经网络训练阶段从大量数据中获取网络模型，训练阶段可以利用大量的计算资源且不需要

epoch、 iteration和batchsize，三个的区别：（1）batchsize：一个批次样本含量。在深度学习中，即每次训练在训练集中取  batchsize 个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；举个

原文地址：https://zhuanlan.zhihu.com/p/25071913  作者：郑华滨在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wasserstein GAN》却在Reddit的Machine Learning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？ 要知道自从201

原文地址：http://blog.youkuaiyun.com/stdcoutzyx/article/details/53151038引入Discriminative Model的繁荣发展最近，深度学习在很多领域的突破性进展想必不用我多说了。但大家似乎发现了这样的一个现实，即深度学习取得突破性进展的地方貌似都是discriminative的模型。所谓的discriminativ

转自 http://m.blog.youkuaiyun.com/article/details?id=52081301递归神经网络 在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网

安装完TensorFlow，并且在命令行调试成功后。打开spyder 然后输入测试程序 ：import tensorflow as tfx = tf.Variable(3)y = tf.Variable(5)z=x+yinit = tf.initialize_all_variables()with tf.Session() as sess: sess.run(init)

系统：Ubuntu14.04 64-bit显卡：GTX 1080为了测试显卡是否正常，先装了个352的驱动，使用Ubuntu的默认源，很方便就完成了安装。# 官方说明中的前置条件apt-get install gcc g++ linux-headers-$(uname -r)apt-get install nvidia-3521234接着安装cuda库，这里使

最近一个月，人工智能领域听的最多的名词之一，莫过于对抗样本和对抗性网络，从最开始Yann LeCun在Quora上直播时表示生成对抗性网络近期人工智能最值得期待的算法之一，到近日生成对抗性网络的发明者Ian Goodfellow在Quora上直播讲述自己的学习经历和研究，而对比起LeCun, Ian Goodfellow的知名度可能没有那么高，但是Goodfellow是Yoshua B

cifar10训练步骤如下：（1）打开终端，应用cd切换路径，如 cd ~/caffe/data/cifar10 ，（2）继续执行命令   ./get_cifar10.sh，（3）成功下载数据集之后，执行ls即可见所下载的数据文件，（4）再次将路径切换到cd ~/caffe/examples/cifar10（5）继续执行命令 ./create_cifar10

Dropout是2012年深度学习视觉领域的开山之作paper：《ImageNet Classification with Deep Convolutional》所提到的算法，用于防止过拟合。在我刚入门深度学习，搞视觉的时候，就有所耳闻，当时只知道它是为了防止过拟合。记得以前啥也不懂，看到《ImageNet Classification with Deep Convolutional》的思路，然后

起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传统Sigmoid系激活函数传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。从神经科学上来看

计算机领域中，一些顶级或权威的国际会议比SCI杂志还难中，但在国内并不太被重视，估计虫友们投的也比较少，这里就不区分领域了，按原帖的布局罗列如下。国际会议AREA: Artificial Intelligence and Related Subjects  Rank 1:       AAAI: American Association for AI National Conference...