- 博客(6)
- 收藏
- 关注
RSS订阅
翻译 LEARNING SPARSE NEURAL NETWORKS THROUGH L0 REGULARIZATION
引言论文介绍了L0正则化方法对深度神经网络进行结构化稀疏。目标函数构建定义损失函数对离散变量连续化处理相关概率构造实验参考文献...
2020-02-16 10:43:44
3030
原创 SOM算法求解线性可分SVM
先定义一些辅助函数导入数据"""函数功能：创建特征向量和标签向量参数说明：file：原始文件路径返回：xMat：特征向量yMat：标签向量"""def loadDataSet(file): dataSet= pd.read_table(file,header = None) xMat=np.mat(dataSet.iloc[:,:-1].values) ...
2020-03-03 16:49:04
1129
转载 Group Lasso
简介Lasso（least absolute shrinkage and selection operator，又译最小绝对值收敛和选择算子、套索算法）是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性，最初由斯坦福大学统计学教授Robert Tibshirani于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote...
2020-02-24 16:15:26
12264
原创 基于采样的近似推断
采样法采样法也叫蒙特卡罗方法，是一种通过随机采样的方法来近似估计一些计算问题的数值解。随机采样即给定概率密度函数p(x)p(x)p(x)中抽取出符合其概率分布的样本。假设我们要推断的概率分布为p(x)p(x)p(x),并基于p(x)p(x)p(x)来计算函数f(x)f(x)f(x)的期望为了计算上式，我们可以通过数值解的方法来近似计算。首先从p(x)p(x)p(x)分布的数据中独立抽取N...
2020-02-21 20:01:46
606
原创 变分推断
引言变分法是用来寻找一个函数f(x)f(x)f(x)使得泛函F(f(x))F(f(x))F(f(x))极大或极小值，可运用在最大熵问题，即寻找一个概率分布，使得该概率分布的熵最大。假设贝叶斯模型中，x为一组观测变量，z 为隐变量，我们的推断问题为计算条件概率p(z∣x)p(z|x)p(z∣x),其中根据贝叶斯公式，条件概率密度p(z∣x)p(z|x)p(z∣x)可以写为变分推断是寻找...
2020-02-21 13:33:37
503
转载 Learning Structured Sparsity in Deep Neural Networks
1. 文章介绍 DNN，尤其是CNN，已经通过从大量数据中的大规模学习在计算机视觉领域取得了巨大的成功，但是这样的大模型部署是有问题的。为了减少计算成本，许多研究方法被用来压缩DNN的大小，包括稀疏正则化、连接剪枝和低秩近似，稀疏正则化和连接剪枝通常会得到一个非结构化的随机连接关系，因此不规则的内存访问不利于硬件加速，Figure 1展示了通过L1正则化对AlexNet每一层的非结构稀疏化。与原...
2020-02-17 17:53:48
489
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人