qiling0102的博客

神经网络反向传播时梯度简易求法 5 相信每一个刚刚入门神经网络（现在叫深度学习）的同学都一定在反向传播的梯...

优化算法：指数加权平均 ...

如果你听说过深度学习中不同种类的卷积（比如 2D / 3D / 1x1 /转置/扩张（Atrous）/空间可分/深度可分/平展/分组/混洗分组卷积），并且搞不清楚它们究竟是什么意思，那么这篇文章就是为你写的，能帮你理解它们实际的工作方式。在这篇文章中，我会归纳总结深度学习中常用的几种卷积，并会试图用一种每个人都能理解的方式解释它们。除了本文之外，还有一些关于这一主题的好文章，请参看原文。希望本...

1x1卷积核的作用之前只是知道1x1的卷积核用在Inception模块中具有降维的作用，并没有认真的思考它是怎么样实现降维的，以及它还有哪些作用。于是查阅了一些资料，并记录了它的一些作用，如下：一、灵活的控制特征图的深度1x1的卷积核由于大小只有1x1，所以并不需要考虑像素跟周边像素的关系，它主要用于调节通道数，对不同的通道上的像素点进行线性组合，然后进行非线性化操作，可以完成升维和降维的功能，如...

卷积层尺寸的计算原理输入矩阵格式：四个维度，依次为：样本数、图像高度、图像宽度、图像通道数输出矩阵格式：与输出矩阵的维度顺序和含义相同，但是后三个维度（图像高度、图像宽度、图像通道数）的尺寸发生变化。权重矩阵（卷积核）格式：同样是四个维度，但维度的含义与上面两者都不同，为：卷积核高度、卷积核宽度、输入通道数、输出通道数（卷积核个数）输入矩阵、权重矩阵、输出矩阵这三者之间的相互决定关系卷积核的输入通...

CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。一、卷积只能在同一组进行吗？-- G...

奇异值分解(SVD)原理详解一、奇异值与特征值基础知识：    特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧：   1）特征值：    如果说一个向量v是方阵...

奇异值分解(SVD)原理详解及推导 （转） 在网上看到有很多文章介绍SVD的，讲的也都不错，但是感觉还是...

相对熵与交叉熵**相对熵数学公式****相对熵：KL距离**交叉熵交叉熵损失函数相对熵数学公式KL散度的值始终大于0，并且当且仅当两分布相同时，KL散度等于0.当P(x)和Q(x) 的相似度越高，KL距离越小。相对熵：KL距离KL距离的几个用途：① 衡量两个概率分布的差异。衡量两个概率分布的相似度，在运动捕捉里面可以衡量未添加标签的运动与已添加标签的运动，进而进行运动的分类。② 衡...

深度学习：激活函数的比较和优缺点 1、什么是激活函数2、为什么要用3、都有...

机器学习中的范数规则化之L0、L1与L2范数、核范数与规则项参数选择 今天我们聊聊机器学习中出现的非常频繁...

凸优化 一.凸优化基本概念凸优化，或叫做凸最优化，凸最小化，是数学最优化...