KangRoger的专栏

机器学习是理论性很强的一门课程，在工程实践时，常常难以把理论和代码结合起来。想通过一个工程来学习一下机器学习中的卷积神经网络。 tiny_cnn是c++写的实现cnn的代码，想通过代码来了解理论，学习和锻炼一下编程能力。tiny_cnn是c++11编写的，只有头文件，不依赖其他库就能运行MINST。计算卷积以及求导，这样大规模复杂的运算一般都是用GPU，tiny_cnn并没有是用GPU，它只是是用

概述 layer_base分析 layer分析概述神经网络有各个层组成，层是神经网络的基本组件。tiny_cnn中，实现功能的层有input_layer, convolutional_layer, average_pooling_layer, max_pooling_layer, dropout_layer, linear_layer, lrn_layer, fully_connected_lay

激活函数概述 identiti函数 sigmoid函数 relu函数 leaky_relu elu softmax tanh tanh p1m2 源码阅读 参考激活函数概述神经网络都有各个层组成，在不同的层中，用到不同的激活函数。在看layer之前，先了解一下定义的激活函数。 数据”经过一个神经网络时，经过卷积或池化等运算后，最终输出的一个值。这个“输出值”就是经过激活函数计算的来的，反向求导，也

convolutional_layer是用来计算卷积的。 connection_table connecction_table是一个二维数组，(x,y)的值（true/false)表示x和y是否关联，即是用来判断和那几个feature_map连接的。在其实现中，内部数据结构为一个bool类型队列，函数is_connected判断是否关联 bool is_connected(cnn_siz