
神经网络
xizero00
梦如梦,潜入梦深处
展开
-
神经网络中的Early Stop
神经网络中的Early Stop神经网络中具体的做法如下: 1. 首先将训练数据划分为训练集和验证集(划分比例为2:1); 2. 在训练集上进行训练,并且在验证集上获取测试结果(比如每隔5个epoch测试一下),随着epoch的增加,如果在验证集上发现测试误差上升,则停止训练; 3. 将停止之后的权重作为网络的最终参数。 注:Early Stop能够防止过拟合。Split the trai原创 2015-07-01 21:37:53 · 14803 阅读 · 0 评论 -
caffe代码阅读6:Filler的实现细节-2016.3.18
caffe中filler类的实现代码阅读。原创 2016-03-18 11:21:06 · 11033 阅读 · 8 评论 -
caffe代码阅读7:LayerRegistry的实现细节-2016.3.18
Caffe代码阅读之LayerRegister的实现原创 2016-03-18 15:22:08 · 4556 阅读 · 4 评论 -
Caffe实战系列:如何将CRFAsRNN移植到caffe-windows上去
(1)移植辅助的文件将include/caffe/util/下的coords.hpp和modified_permutohedral.hpp复制到caffe-windows对应的目录将src/caffe/util/modified_permutohedral.cpp复制到对应的目录中去(2)移植Layer中的特性在include/caffe/layer.h原创 2016-04-17 18:10:48 · 6426 阅读 · 11 评论 -
Caffe解惑:Caffe中是如何控制loss的
caffe是使用loss_weight控制loss的传递在基本类Layer里的函数如下对于loss Layer loss_weight非0,对于非loss Layer,loss_weight都是0所以Layer对网络loss的贡献值也为0原创 2016-04-18 19:29:10 · 9454 阅读 · 0 评论 -
caffe代码阅读:网络层是如何被初始化,网络是怎么进行前传和反传的
本文从源码角度解析了网络是如何被初始化的,从一开始的solver的注册与实例化,到利用solver去初始化网络中的每一层,然后进行前传和反传。希望借此文能够让读者理清楚caffe的整体运行流程,窥一斑而见全豹。原创 2017-03-03 13:44:50 · 3830 阅读 · 2 评论 -
torch系列:torch中如何读取存放在hdf5文件中的字符串
torch中如何读取存放在hdf5文件中的字符串原创 2017-03-03 13:57:34 · 3919 阅读 · 0 评论 -
给用torch的童鞋,lua代码规范
本文给出了一个简明的lua代码规范,希望给用torch的童鞋一些kua参考。翻译 2017-03-03 13:50:12 · 1967 阅读 · 0 评论 -
bazel选项的部分翻译,希望给编译tf的童鞋参考
部分翻译了bazel的选项的含义,仅供参考翻译 2017-03-03 13:48:07 · 21497 阅读 · 0 评论 -
关于softmax损失函数的推导
关于softmax损失函数的推导某人问我softamx损失函数的推导,索性就写一下. 定义softmax损失函数的输入为XN×CX_{N \times C}和YN×CY_{N \times C}, 其中N代表输入的数据的个数,C代表类别的个数.X指的是神经网络的输出,Y代表的是0-1矩阵,即如果第i个样本的类别为j那么yij=1y_{ij}=1, 那么第i行的其余列的值就都为0. 这里的sof原创 2017-02-23 13:17:48 · 6909 阅读 · 0 评论 -
caffe代码阅读9:SyncedMemory的实现细节-2016.3.28
该类SyncedMemory主要就是在内存分配空间以及在GPU上分配空间,并且负责同步数据,此外我看mutable_cpu_data和cpu_data 这两个函数的主要区别就是head_是否改变,至于这两个函数的命名上的mutable是有着互斥的含义的。究竟体现在哪儿,我的感受是,这里的mutable的体现主要是在调用了mutable_cpu_data之后强制设置了head_为HEAD_AT_CPU,从而保护了cpu上的数据.原创 2016-03-28 21:09:43 · 5799 阅读 · 8 评论 -
caffe代码阅读8: Data_layers的实现细节(各个数据读取层的实现细节) 2016.3.25-28
Caffe中Layer类是所有神经网络层的基类,BaseDataLayer继承自该类,BasePrefetchingDataLayer继承自BaseDataLayer,DataLayer继承自BasePrefetchingDataLayer。有了上述几个基础的类之后,其他的类都是从这几个类进行派生。比如DummyDataLayer,HDF5Layer和HDF5OutputLayer都是直接继承自Layer。MemoryDataLayer则是继承自BaseDataLayer凡是涉及到直接读取数据文原创 2016-03-28 17:38:35 · 14310 阅读 · 3 评论 -
caffe 实战系列:如何写自己的数据层(以Deep Spatial Net为例)
caffe中如何添加新的层原创 2016-03-24 10:53:44 · 10740 阅读 · 2 评论 -
caffe代码阅读3:data_reader、internalthread以及blocking_queue的实现细节-2016.3.15
caffe中data_reader、internalthread以及blocking_queue的实现细节介绍原创 2016-03-16 00:04:02 · 4603 阅读 · 1 评论 -
caffe代码阅读4:DataTransformer以及io的实现细节-2016.3.16
介绍Caffe的数据转换的具体实现以及IO的具体实现。对相关的代码进行剖析原创 2016-03-16 15:50:47 · 7291 阅读 · 3 评论 -
caffe代码阅读5:Layer的实现细节-2016.3.17
解析Caffe中的Layer类的相关具体的实现。原创 2016-03-17 15:57:22 · 14185 阅读 · 9 评论 -
caffe 实战系列:proto文件格式以及含义解析:如何定义网络,如何设置网络参数(以AlexNet为例) 2016.3.30
caffe 层的定义以及参数的设置原创 2016-03-30 11:52:34 · 7996 阅读 · 0 评论 -
Cmake系列:如何使用CMake编译自己项目
cmake的使用原创 2016-03-24 21:15:30 · 16013 阅读 · 2 评论 -
caffe代码阅读10:Caffe中卷积的实现细节(涉及到BaseConvolutionLayer、ConvolutionLayer、im2col等)-2016.4.3
本文介绍了Caffe中的卷积层的实现,以及卷积实现的时候所使用的im2col的实现,其中重点介绍了im2col的实现原理。原创 2016-04-03 13:05:59 · 18508 阅读 · 1 评论 -
Caffe解惑:caffe中的前传和反传是如何确定的?
有人一直对Caffe does all the bookkeeping for any DAG of layers to ensure correctness of the forward and backward passes。这句话有疑惑。我给出解释:首先给出caffe确定前传和反传的整体流程:首先根据参数文件的字符串到层的注册表中获取层的Creator函数,然后创原创 2016-03-24 20:37:57 · 3862 阅读 · 0 评论 -
caffe代码阅读1:blob的实现细节-2016.3.14
caffe 中 BLOB的实现一、前言等着caffe没有膨胀到很大的程度把caffe的代码理一理(1)第一次阅读Caffe的源码,给人的印象就是里面大量使用了gtest,确实也简化了不少代码,看起来很清晰。(2)caffe的文档是使用doxygen来生成的,这点在注释里面有体现,对于自己以后的项目也可以借鉴。二、相关知识:(1)explicit关键字的作用是原创 2016-03-14 15:35:55 · 19112 阅读 · 1 评论 -
caffe代码阅读2:common的实现细节-2016.3.14
前言common中给出的是一些初始化的内容,其中包括随机数生成器的内容以及google的gflags和glog的初始化,其中最主要的还是随机数生成器的内容。重点这里有点绕,特别是Caffe类里面有个RNG,RNG这个类里面还有个Generator类在RNG里面会用到Caffe里面的Get()函数来获取一个新的Caffe类的实例(如果不存在的话)。然后RNG里面用到了Genera原创 2016-03-14 19:39:21 · 9086 阅读 · 11 评论 -
ubuntu下自动安装tensorflow脚本
本文介绍了一个自动安装tensorflow的脚本。原创 2017-05-04 00:50:54 · 1468 阅读 · 0 评论