魂小猫的博客

Tensorflow最重要的两个概念——Tensor和Flow。 Tensor就是张量，在Tensorflow中Tensor可以被简单的理解为多维数组。Tensor是Tensorflow的数据结构，那么Flow是Tensorflow的计算模型。Flow的中文翻译成流，它表达了张量之间通过计算相互转化的过程。Tensorflow是一个通过计算图的形式来表述计算的编程系统。Tensorflow每一个计

项目结题报告：Python基础和相关库的学习： 一：Python基础与科学计算库numpy 1.Python语言基础 2.Python数据结构（列表,字典,元组） 3.科学计算库Numpy基础 4.Numpy数组操作 5.Numpy矩阵基本操作 6.Numpy矩阵初始化与创建 7.Numpy排序与索引二：数据分析处理Pandas库 1.Pandas数据读取与现实 2.Pan

MNIST数据集是NIST数据集的一个子集，它包括60000张图片作为训练数据，10000张图片作为测试数据。在MNIST数据集的每一张图片都代表了0-9中的其中一个数字。图片大小为28×28，且数字都会出现在图片的正中间。下图就是MNIST的一张数字图片和它对应的像素矩阵： 虽然MNIST数据集只提供了训练和测试数据，但是为了验证模型训练的效果，一般会从训练数据划分除一部分作为验证（valida

训练神经网络的时候需要设置学习率（learning rate）控制参数更新速度。学习率决定了参数每次更新的幅度。如果幅度过大，可能导致参数在最优值的两侧来回移动。 从上图可知，无论进行多少次迭代，参数将在5和-5之间摇摆，而不会收敛到一个极小值。相反学习率过小时，虽然能保证收敛性，但是会大大降低优化速度。 Tensorflow提供了一种灵活的学习率设置方法——指数衰减法。 tf.train

反向传播算法（backpropagation）和梯度下降算法（gradient decent）调整神经网络中参数的取值。梯度下贱算法主要用于优化单个参数的取值，而反向传播算法给出了一个高效的方式在所有参数上使用梯度下降算法，从而使神经网络模型在训练数据上的损失函数尽可能的小。反向传播算法是训练神经网络的核心算法，它可以根据定义好的损失函数优化神经网络中的参数的取值，从而使神经网络模型在训练数据集上的

神经网络模型的效果以及优化目标是通过损失函数（loss function）来定义的。分类问题和回归问题有很多经典的损失函数。 分类问题和回归问题是监督学习的两大种类。 分类问题希望解决的是将不同的样本分到事先定义好的类别中。再这种问题下，需要将样本二分类（多分类）。手写字体识别就是一个十分类的问题。 再判断二分类问题的时候，可以定义一个有单个输出节点的神经网络，当这个节点输出越接近1（或者设定

在采用随机梯度下降算法训练神经网络时，使用滑动平均模型在很多应用中都可以在一定程度上提高最终模型在测试数据上的表笑。 在Tensorflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型。在初始化ExponentialMovingAverage 时，需要提供一个衰减率（decay）。这个衰减率会用于控制模型的更新速度。ExponentialMovin

损失函数是用于优化训练数据。然而真实的应用中想要的并不是让模型尽量模拟训练数据的行为，而是希望通过训练出来的模型对未知的数据给予判断。模型在训练数据上的表现并不一定代表了它在未知数据上的表现。 过拟合就是导致这个差距的重要因素，所谓过拟合就是当一个模型郭伟复杂之后，它可以很好的“记忆”每一个训练数据中随机噪音的部分而忘记了要去“学习”训练数据中的通用趋势。 比较极端的例子就是，当模型中的参数比训

神经网络参数是神经网络实现分类或者回归问题中重要的部分。 在Tensorflow中，变量(tf.Variable)的作用就是保存和更新神经网络中的参数。和其他编程语言相似，Tensorflow中的变量也需要指定初始值。因为在神经网络中，给参数赋予随机初始值最为常见，所以一般也是用随机数给Tensorflow的变量初始化。 通过构造一个Variable类的实例在图中添加一个变量（variable）

TensorFlow 有两个版本：CPU 版本和GPU 版本。GPU 版本需要CUDA 和cuDNN 的支持，CPU 版本不需要。如果你要安装 GPU 版本，请先确认你的显卡支持 CUDA。我安装的是 GPU 版本，采用pip 安装方式，所以就以 GPU 安装为例，CPU 版本只不过不需要安装 CUDA 和 cuDNN。在 这里 确认你的显卡支持 CUDA。 确保你的Python版本是3.5