Tensorflow实战笔记

1、 TensorFlow 基本概念

tensorflow里最基本的 3个概念一一计算图( tf.Graph ）、张量( tf.Tensor ）和会话（tf.Session ）。
计算图是tensorFlow 的计算模型 。所有 TensorFlow 的程序都会通过计算图 的形式表示。 计算图上的每 个节点都是一个运算，而计算图上的边则表示了运算之间的数据传递关系。 计算图上还保存了运行每个运算的设备信息（比如是通过 CPU 上还是 GPU 运行）以及运算之间的依赖关系。计算图提供了管理不同集合的功能，并且 TensorFlow 会自动维护 个不同的默认集合。
张量是 TensorFlow 的数据模型， TensorFlow 中所运算的输入、输出都是张量。张量本身并不存储任何数据，它只是对运算结果的引用。通过张量，可以更好地组织 TensorFlow 程序。
会话是TensorFlow 运算模型，它管理了 TensorFlow 程序拥有的系统资源，所有的运算都要通过会话执行。
**

2、训练神经网络的过程可以分为以下三个步骤：**

1.定义神经网络的结构和前向传播的输出结果
2. 定义损失函数以及选择反向传播优化的算法
3. 生成会话（ tf.Session ）并且在训练集数据上反复运行反向传播优化算法 

无论神经网络的结构如何变化 ，这3 个步骤是不变的。
**

3、 神经网络结构设计和训练优化的方法

**
在神经网络的结构上，深度学习一方面需要使用激活函数（Activation Function）实现神经网络模型的去线性化，另一方面需要使用一个或多个隐藏层使得神经网络的结构更深，以解决复杂问题。
在训练神经网络时，可以使用带指数衰减的学习率设置、使用正则化来避免过度拟合，以及使用滑动平均模型来使得最终模型更加健壮（robust）。