loving_coco-优快云博客

转载理解：L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布

转自：https://blog.youkuaiyun.com/m0_38045485/article/details/82147817L1、L2正则化来源推导L1L2的推导可以从两个角度：带约束条件的优化求解（拉格朗日乘子法）贝叶斯学派的：最大后验概率1.1 基于约束条件的最优化对于模型权重系数w的求解释通过最小化目标函数实现的，也就是求解：首先，模型的复杂度可以用VC来衡量。通常情况下，...

2018-12-02 15:40:09 1114

转载为什么要将全连接层转化为卷积层

转自：https://www.cnblogs.com/liuzhan709/p/9356960.html理解为什么要将全连接层转化为卷积层1.全连接层可以视作一种特殊的卷积考虑下面两种情况：特征图和全连接层相连，AlexNet经过五次池化后得到7*7*512的特征图，下一层全连接连向4096个神经元，这个过程可以看做有4096个7*7*512的卷积核和7*7*512的特征图进行卷积...

2018-12-02 14:57:14 1236

原创极大似然估计

极大似然原理其实最简单的理解就是：样本所展现的状态便是所有可能状态中出现概率最大的状态。极大似然估计即通过样本的结果来对总体的某个参数θ进行估计，θ估计值即为使得这一结果发生的概率为最大才合理。...

2018-08-20 11:30:18 316

转载训练集(train set) 验证集(validation set) 测试集(test set)

转自http://www.cnblogs.com/xfzhang/archive/2013/05/24/3096412.html 在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set) 验证集(validation set) 测试集(test set)。http://blog.sina.com.cn/s/blog_4d2f6cf201000...

2018-08-08 21:05:28 2053

转载深度学习技巧（激活函数-BN-参数优化等等）

转自https://blog.youkuaiyun.com/myarrow/article/details/518482851. 深度学习技巧简介 1）一次性设置（One time setup） - 激活函数（Activation functions） - 数据预处理（Data Preprocessing） - 权重初始化（Weig...

2018-08-02 17:25:19 3547

转载贝叶斯公式理解（先验概率/后验概率）

转载自https://www.cnblogs.com/ohshit/p/5629581.html（1）条件概率公式设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为： P(A|B)=P(AB)/P(B) （2）乘法公式 ...

2018-07-31 11:54:46 42062 3

原创机器学习之近似误差和估计误差

近似误差：可以理解为对现有训练集的训练误差。近似误差，更关注于“训练”。估计误差：可以理解为对测试集的测试误差。估计误差，更关注于“测试”、“泛化”。 ...

2018-07-25 16:20:42 3757

原创贪心算法

贪心算法是指：在每一步求解的步骤中，它要求“贪婪”的选择最佳操作（即选择当前最优），并希望通过一系列的最优选择，能够产生一个问题的（全局的）最优解。　　贪心算法每一步必须满足一下条件：　　1、可行的：即它必须满足问题的约束。　　2、局部最优：他是当前步骤中所有可行选择中最佳的局部选择。　　3、不可取消：即选择一旦做出，在算法的后面步骤就不可改变了。...

2018-07-24 16:12:54 178

原创卷积后feature map尺寸计算公式

像素宽度：W（Width）填充大小：P（Padding）卷积核大小：K（Kernel-size）步长大小：S（stride）卷积后所得feature map尺寸大小计算公式如下：补充：1.Padding的作用用于解决图像边缘信息损失的问题；2.计算卷积后map尺寸时若不为整数则向下取整，而计算pooling后尺寸时则向上取整。...

2018-07-22 10:30:33 6500 1

Transfer LearningIn practice, very few people train an entire Convolutional Network from scratch (with random initialization), because it is relatively rare to have a dataset of sufficient size. Inste...

2018-03-28 17:27:06 1288 1

转载这个动态规划分析的很详细（转载）

动态规划动态规划转自：http://www.cnblogs.com/raichen/p/5772056.html通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。动态规划常常适用于有重叠子问题和最优子结构性质的问题。基本思想若要解一个给定问题，我们需要解其不同部分（即子问题），再合并子问题的解以得出原问题的解。通常许多子问题非常相似，为此动态规划法试图仅仅解决每个子问题一次，从而减少计...

2018-03-28 17:18:51 346

loving_coco的博客