zhili8866的博客

DeepLearning tutorial（2）机器学习算法在训练过程中保存参数@author：wepon@blog：http://blog.youkuaiyun.com/u012162613/article/details/43169019参考：pickle — Python object serialization、DeepLearning Gett

一.保存Keras模型这里不推荐使用pickle或cPickle来保存Keras模型。 1. 一般使用model.save(filepath)将Keras模型和权重保存在一个HDF5文件中，该文件将包含：模型的结构，以便重构该模型模型的权重训练配置（损失函数，优化器等）优化器的状态，以便于从上次训练中断的地方开始 使用keras.models.load_model(filepath)来重

Keras的泛型模型为Model，即广义的拥有输入和输出的模型常用Model属性model.layers：组成模型图的各个层model.inputs：模型的输入张量列表model.outputs：模型的输出张量列表常用Model方法compile，fit，evaluate等跟sequential相似，就不介绍了下面以代码示例的方式学习泛型模型第一个模型：全连接网络from keras.l

本节主要简单介绍了图像分类和流程，讲解了最近邻分类器的原理以及超参数的的调优与交叉验证图像分类顾名思义，就是给定一个图像，判断出它属于哪一个类。通常通过带有标签的数据作为训练集用各种方法进行训练， 然后在测试集上进行测试，预测出最可能的类别（标签）。图像分类面临的困难：视角变化、大小变化、形变、遮挡、光照条件、背景干扰、类内差异等图像分类流程：输入->学习->评价最近邻分类器NN分类器的原理非常简

本节主要讲了线性分类器（svm和softmax），损失函数以及最优化（梯度下降）的问题线性分类由于之前KNN分类器的缺点，让我们很自然地去寻找有一种更加强大地方法去完成图像分类任务，这种方法主要有两部分组成： 评分函数（score function），它是原始图像数据到类别分值的映射（f(x)=Wxf(x)=Wx）。 损失函数（loss function），它是用来量化预测分类

损失函数可以量化某个具体权重集WW的质量。而最优化的目标就是找到能够最小化损失函数值的WW ，本节主要讲最优化问题。最优化上节我们已经介绍了图像分类的两个关键部分：评分函数与损失函数，接下来就是最优化的问题了，即如何寻找使得损失函数值最小的WW。 对于SVM 得分函数：f(xi,W)=Wxif(x_i,W)=Wx_i 损失函数：L=1N∑i∑j≠yi[max(0,f(xi;W)j−f(xi;

简单来说，反向传播是一种通过链式法则递归计算表达式的梯度的方法，本节主要介绍了给定f(x)f(x)，求解梯度∇f(x)\nabla f(x)的方法。理解反向传播，对神经网络的调整和优化优很大的帮助。在神经网络中，对应的是损失函数LL，输入xx包含训练数据和神经网络的权重。比如，损失函数为SVMSVM，输入包括了训练数据xi,yix_i,y_i、权重WW和偏差bb。而训练集是给定的，权重则是可以改变

本节主要讲了神经网络学习率退火和超参数调优等问题学习率更新学习率衰减　　训练深度网络时，让学习率随着时间退火通常很有帮助。如果学习率很高，系统的动能就过大，参数向量就会无规律地跳动，不能够稳定到损失函数更深更窄的部分去。　　何时开始衰减学习率是有技巧的：缓慢减小它，可能很长时间内只能是浪费计算资源地看着它混沌地跳动，实际进展很少。而如果快速地减小它，系统可能过快地失去能量，不能到达原本可以到达的最

本节主要介绍了神经网络学习参数和超参数调优等过程梯度检查　　梯度检查是非常重要的一个环节，就是将解析梯度和数值计算梯度进行比较。数值计算梯度时，使用中心化公式df(x)dx=f(x+h)−f(x−h)2h(推荐使用)\frac{df(x)}{dx} = \frac{f(x + h) - f(x - h)}{2h} \hspace{0.1in} \text{(推荐使用)} 　　其中hh在实践中近似

本节主要讲了数据预处理、正则化以及损失函数数据预处理关于数据预处理我们有3种常用的方式，假设数据矩阵XX，假设其尺寸是[N,D][N ,D]（NN是数据样本的数量，DD是数据的维度）。去均值去均值是预处理最常见的。对待训练的每一张图片的特征，都减去全部训练集图片的特征均值。它对数据中每个独立特征减去平均值，从几何上可以理解为在每个维度上都将数据云的中心都迁移到原点。在numpy中，该操作可以通过代

常用层卷积层1. 常用层1.1 Dense层keras.layers.core.Dense(output_dim, init='glorot_uniform', activation='linear', weights=None, W_regularizer=None, b_regularizer=None, activity_regularizer=None, W_constraint=No

优化器

DeepLearning tutorial（1）Softmax回归原理简介+代码详解@author：wepon@blog：http://blog.youkuaiyun.com/u012162613/article/details/43157801本文介绍Softmax回归算法，特别是详细解读其代码实现，基于Python theano，代码来自：Classif

DeepLearning tutorial（3）MLP多层感知机原理简介+代码详解@author：wepon@blog：http://blog.youkuaiyun.com/u012162613/article/details/43221829本文介绍多层感知机算法，特别是详细解读其代码实现，基于Python theano，代码来自：Multilayer Perce

DeepLearning tutorial（4）CNN卷积神经网络原理简介+代码详解@author：wepon@blog：http://blog.youkuaiyun.com/u012162613/article/details/43225445本文介绍多层感知机算法，特别是详细解读其代码实现，基于Python theano，代码来自：Convolutional

利用Python PIL、cPickle读取和保存图像数据库 @author：wepon@blog:http://blog.youkuaiyun.com/u012162613/article/details/43226127计算机视觉、机器学习任务中，经常跟图像打交道，在C++上有成熟的OpenCV可以使用，在Python中也有一个图像处理库PIL（Pyth

DeepLearning tutorial（5）CNN卷积神经网络应用人脸识别（详细流程+代码实现）@author：wepon@blog：http://blog.youkuaiyun.com/u012162613/article/details/43277187本文代码下载地址：我的github本文主要讲解将CNN应用于人脸识别的流程，程

DeepLearning tutorial（6）易用的深度学习框架Keras简介致读者：本文写于keras开发初期，目前keras已经迭代到1.0版本，很多API都发生了较大的变化，所以本文的粘贴的一些代码可能已经过时，在我的github上有更新后的代码，读者需要的话可以看github上的代码：https://github.com/wepe/MachineLearning之前我

2016.07.05 致读者：本文写于keras开发初期，目前keras已经迭代到1.0版本，很多API都发生了较大的变化，所以本文的粘贴的一些代码可能已经过时，在我的github上有更新后的代码，读者需要的话可以看github上的代码：https://github.com/wepe/MachineLearning更多进阶的使用方法，我会在gist上持续更新：https://gist.

结合文献『Deep Learning for Computer Vision』， 以下讲讲卷积神经网络的一些注意点和问题。激励函数，要选择非线性函数，譬如tang，sigmoid，rectified liner。在CNN里，relu用得比较多，原因在于：(1)简化BP计算；(2)使学习更快。(3)避免饱和问题(saturation issues)池化(Pooling)：

discrete 离散的 feasible 可行的 optimise 优化 convex 凸化的 trivial 不重要的 devise 设计；发明 symmetric 对称的 Empirically 以经验为主的 compromise 妥协；让步

最近在看keras文档，想写博客却真的无从下手（其实就是没咋学会），想想不写点笔记过段时间估计会忘得更多，所以还是记录一下吧，感觉学习keras最好的方式还是去读示例的代码，后期也有想些keras示例代码注释的想法，但是现在还是老老实实地先记录keras的基础知识吧。《统计学习方法》中指出，机器学习的三个要素是模型，策略和优算法，这当然也适用于深度学习，而我个人觉得keras训练也是基于这三个要素

本节从神经元讲起，分别介绍了激活函数和神经网络结构　　在线性分类中，我们使用s=Wxs=Wx计算类别的评分函数，其中WW为一个矩阵，xx为一个列向量，输出表示类别的评分向量。而在神经网络中，最常用的是s=W2max(0,W1x)s=W_2max(0,W_1x)，其中函数max(0,−)max(0,-)是非线性的，也可以使用其他的一些非线性函数。如果没有非线性函数，那么对于分类的评分计算将重新变成关