SHERO_M

caffe是一个运行速度快，并且轻量的框架。可是，caffe并不是一个高度支持自己定制的框架。考虑这几个问题：1. 如果用户需要在网络训练过程中，一个相同的网络结构需要搭配多套参数，在caffe下面应该怎么实现？2. 在反传的过程中，需要对某些变量的梯度按照某些需求做出改变，在caffe下面应该怎么实现？3. 需要自己实现一个简单的激活函数，在caffe下面应该怎么实现？   对于第一个需求，在c...

目前使用比较多的网络结构主要有ResNet(152-1000层），GooleNet(22层），VGGNet（19层）。Lenet，1998年 Alexnet，2012年 GoogleNet，2014年 VGG，2014年 Deep Residual Learning，2015年Lenet5LeNet5 诞生于 1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。...

2018.7.27机器学习基础1、回归 分类 聚类的区别classification (分类)：分类技术预测的数据对象是离散值。 regression (回归)：回归技术预测的数据对象是连续值。回归模型包括一元回归和多元回归，线性回归和非线性回归。 clustering (聚类)：聚类算法用于在数据中寻找隐藏的模式或分组。聚类算法构成分组或类，类中的数据具有更高的相...

一、什么是深度学习深度学习的概念由Hinton等人于2006年提出，来源于人工神经网络的研究，含多隐层的多层感知机就是一种深度学习结构。深度网络通常意味着具有多于 1 个隐藏层的人工神经网络，神经网络模仿大脑的神经元将信息进行传递并解释数据，主要是图像、声音和文本，实现人类的学习行为。DL通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。它属于机器学习方法的一个...

常见跳出局部最小值策略现实任务中，人们常采用以下策略来试图“跳出”局部最小值，从而达到全局最小值：1、以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数，这相当于从多个不同的初始化点开始搜索，从而可能寻找全局最优。2、使用模拟退化技术，模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于“跳出”局部极小。在每步迭代过程中，接受“次优解”的概...

机器学习的本质就是寻找最优模型。而深度学习是机器学习的一个大分支，深度学习的概念源于对人工神经网络的研究，深度学习的基本结构（也即模型）是深度神经网络。感知机是最简单的一种人工神经网络，是一种二元线性分类器。感知机抽象于生物神经细胞，为了模拟神经细胞行为，与之对应的感知机基础概念被提出，如权重（突触）、偏置（阈值）及激活函数（细胞体）。感知机：不同的输入a与其对应的权重w相乘后...

1、梯度消失：激活函数的导数小于1，最终的梯度更新信息随着层数增多而以指数形式衰减。一般有两个原因，（1）网络层次深；（2）损失函数不对，例如说是sigmod函数。梯度爆炸：激活函数的导数大于1，最终的梯度更新将以指数形式增加，发生梯度爆炸。一般因为网络层次较深和权重初始值过大。解决手段：（1）逐层预训练；（2）针对梯度爆炸，设置阈值，梯度超过时使其强制限制在这个范围内；权重正则化；...