suixinsuiyuan33的博客

深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient de

要将深度学习更快且更便捷地应用于新的问题中，选择一款深度学习工具是必不可少的步骤。 TensorFlow是谷歌于2015年11月9日正式开源的计算框架。TensorFlow计算框架可以很好地支持深度学习的各种算法。TensorFlow很好地兼容了学术研究和工业生产的不同需求。一方面，TensorFlow的灵活性使得研究人员能够利用它快速实现新的模型设计；另一方面，TensorF

之前的笔记里实现了softmax回归分类、简单的含有一个隐层的神经网络、卷积神经网络等等，但是这些代码在训练完成之后就直接退出了，并没有将训练得到的模型保存下来方便下次直接使用。为了让训练结果可以复用，需要将训练好的神经网络模型持久化，这就是这篇笔记里要写的东西。TensorFlow提供了一个非常简单的API，即tf.train.Saver类来保存和还原一个神经网络模型。下面代

机器学习算法 原理、实现与实践 —— 感知机与梯度下降 一、前言1，什么是神经网络？人工神经网络(ANN)又称神经网络(NN)，它是一种受生物学启发而产生的一种模拟人脑的学习系统。它通过相互连结的结点构成一个复杂的网络结构，每一个结点都具有多个输入和一个输出，并且该结点与其他结点以一个权重因子相连在一起。通俗来说，神经网络是一种学习器，给它一组输入，它会得到一组输出，神经网

An overview of gradient descent optimization algorithmsNote: If you are looking for a review paper, this blog post is also available as an article on arXiv.Table of contents:Gradient

tensorflow实战系列（四）基于TensorFlow构建AlexNet代码解析 链接：http://www.cnblogs.com/whu-zeng/p/6382541.html整体流程介绍：我们从main函数走，在train函数中，首先new了一个network;然后初始化后开始训练，训练时设定设备和迭代的次数，训练完后关闭流程图。下面看network这

tensorflow实战系列（三）一个完整的例子链接： http://www.cnblogs.com/whu-zeng/p/6343312.html#!/usr/bin/env python2# -*- coding: utf-8 -*-"""Created on Wed Jan 18 08:42:55 2017@author: root"""

自适应学习速率SGD优化算法链接： http://blog.youkuaiyun.com/suixinsuiyuan33/article/details/69229376梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个

自适应学习率调整：AdaDeltaReference：ADADELTA: An Adaptive Learning Rate Method链接： http://www.cnblogs.com/neopenx/p/4768388.html超参数超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。神经网

神经网络之激活函数(Activation Function) 转载：http://blog.youkuaiyun.com/cyh_24：http://blog.youkuaiyun.com/cyh_24/article/details/50593400日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己一(n)件事：为什么需