欢迎来到打不死的小强的专栏

转自：http://blog.youkuaiyun.com/dark_scope/article/details/9421061==========================================================================================最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现

一、Inception网络（google公司）——GoogLeNet网络的综述获得高质量模型最保险的做法就是增加模型的深度（层数）或者是其宽度（层核或者神经元数）但是这里一般设计思路的情况下会出现如下的缺陷：参数太多，若训练数据集有限，容易过拟合；网络越大计算复杂度越大，难以应用；网络越深，梯度越往后穿越容易消失，难以优化模型。解决上述两个缺点的根本方法是将全连接甚至一般的卷积都转...

Links to other communities’ reproducible research effortGeostatistics toolbox mgstat DACEError Correcting Codes (ECC)Face recognition software at face-rec.orgComputer graphics graphi...

Reproducible Research in Computational Science “It doesn't matter how beautiful your theory is, it doesn't matter how smart you are. If it doesn't agree with expe...

ReLU tensorflow中：tf.nn.relu(features, name=None)LReLU(Leaky-ReLU) 其中aiai. tensorflow中：tf.nn.leaky_relu(features, alpha=0.2, name=None)PReLU 其中aiai时，采用的是带动量的更新方式（momentum）。 tensorflow中:没找到...

转自这里GAN学习笔记（1）：GAN综述生成式对抗模型GAN (Generativeadversarial networks) 是Goodfellow等[1]在 2014年提出的一种生成式模型，目前已经成为人工智能学界一个热门的研究方向，著名学者Yann Lecun甚至将其称为“过去十年间机器学习领域最让人激动的点子"。GAN的基本思想源自博弈论的二人零和博弈，由一个生成器和一个判别器构...

今天跑了把googlenet1应用到自己的分类任务中，识别率有大约有0.8%的提高。 看来大网络还是有用的， 只要你能很好的解决随着网络层数增多，容易引起过梯度消失或爆炸等问题。https://github.com/ShaoqingRen/faster_rcnn/issues/47  这里有关于这个网络实现的讨论https://github.com/beijbom/beijbo

CS231n简介详见 CS231n课程笔记1：Introduction。 注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。Batch Normalization1. 原理BN(Batch Normalization)的原理很简单，就是对于给定输入做一个减均值除方差的归一化（可以这么做的原因是上诉归一化操作可导，即可以做BP（反向传播))。当然这么做的优劣难于判

本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上

转自：VGGNet 阅读 - Very Deep Convolutional Networks for Large-Scale Image Recognition[转]这篇文章是以比赛为目的——解决Ima...