深度学习
关注
分享
扫一扫
换头像真麻烦
这个作者很懒，什么都没留下…
展开
-
一文弄懂神经网络中的反向传播法——BackPropagation
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果...转载 2019-03-26 23:02:50 · 222 阅读 · 0 评论 -
TensorFlow学习（10）google图像识别网络inception-v3
下载保存模型import tensorflow as tfimport osimport tarfileimport requestsinception_pretrain_model_url = 'http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz'inception_pre...原创 2019-05-07 19:31:36 · 296 阅读 · 0 评论 -
TensorFlow学习（9）循环神经网络、保存模型和载入模型
RNNRNN 和 BP 都有梯度消失的问题，信号会逐渐减弱LSTM主要用于文本和语音等序列化问题LSTM 隐藏层的神经元不像BP的那样的神经元，而是如下比较复杂的block第一项的输入影响了第4和第6项的输出结果手写数字识别使用卷积神经网络案列import tensorflow as tffrom tensorflow.examples.tuto...原创 2019-05-07 16:54:56 · 550 阅读 · 0 评论 -
TensorFlow学习（8）卷积神经网络CNN
传统神经网络权值太多，计算量太大，需要大量样本进行训练，根据经验，一般来说样本的数量最好是权值数量的 5 - 30 倍，如 有1万个权值，最好有5万-10万个样本来训练局部感受野他们发现了每一个视觉神经元只会处理一小块区域的视觉图像，即感受野（Receptive Field）。卷积神经网络的概念即出自于此。卷积神经网络CNN第一个卷积特征由黄色区域计算：1*1+1*...原创 2019-05-06 18:02:54 · 1240 阅读 · 0 评论 -
TensorFlow学习（11）安装GPU版本的Tensorflow
安装CUDA1. 准备好NVIDIA的显卡，下载安装CUDA：https://developer.nvidia.com/cuda-downloads2.安装好之后把CUDA安装目录下的bin和lib\x64添加到环境变量Path中安装cuDNN1. cuDNN下载：https://developer.nvidia.com/rdp/cudnn-download2. 解压压缩...原创 2019-05-09 11:05:38 · 828 阅读 · 0 评论 -
TensorFlow学习（7）tensorboard 网络结构
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据集mnist = input_data.read_data_sets('MNIST_data',one_hot=True)# 不是一张张图片放入神经网络，定义一个批次，一次 100batch_size = 100...原创 2019-05-05 23:57:41 · 297 阅读 · 1 评论 -
TensorFlow学习（6）手写数字识别优化
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据集mnist = input_data.read_data_sets('MNIST_data',one_hot=True)# 不是一张张图片放入神经网络，定义一个批次，一次 100batch_size = 100...原创 2019-05-05 19:14:49 · 251 阅读 · 0 评论 -
TensorFlow学习（5）优化器 Optimizer
Optimizertf.train.GradientDescentOptimizer tf.train.AdadeltaOptimizer tf.train. AdagradOptimizer tf.train.AdagradDAOptimizer tf.train.MomentumOptimizer tf.train.AdamOptimizer tf.train.FtrlOpti...原创 2019-05-05 16:29:48 · 597 阅读 · 0 评论 -
TensorFlow学习（4）拟合
回归问题分类问题解决方法正则化其实就是减少修改权重的步子，也就是减少误差，降低权重的重要性Dropout 每次迭代使部分神经元工作，部分不工作，使得似乎是多个模型的平均结果，测试的时候使用所有的神经元Dropout 会使收敛速度变慢如果分别使用训练集、测试集计算准确度，画出曲线，如果这两条曲线偏差比较大，那么说明发生过拟合，因为用新的数据时准确度明显下降。如果...原创 2019-05-05 14:47:21 · 244 阅读 · 0 评论 -
TensorFlow学习（3）二次代价函数和交叉熵代价函数
二次代价函数（quadratic cost）假如我们的目标是收敛到1，A点为0.82距离目标远，梯度比较大，权值调整比较大，B点为0.98距离目标近，梯度比较小，权值调整比较小，调整方案合理假如我们的目标是收料到0，A点为0.82距离目标近，梯度比较大，权值调整比较大，B点为0.98距离目标远，梯度比较小，权值调整比较小，调整方案不合理交叉熵代价函数（cross-entro...原创 2019-05-05 12:30:45 · 610 阅读 · 0 评论 -
TensorFlow学习（2）简单手写数字识别
MNIST数据集下载网址：MNIST 下载的数据：训练集的图片和标签，测试集的图片和标签，60000行的训练数据集和10000行的测试数据集将二维数组展开成一维的向量构建简单的神经网络softmax函数import tensorflow as tffrom tensorflow.examples.tutorials.mnist import inpu...原创 2019-05-05 10:31:05 · 533 阅读 · 0 评论 -
TensorFlow学习（1）基础使用
基本概念基本结构创建图和启动图，常量使用import tensorflow as tf# 创建 op 常量m1 = tf.constant([[3,3]])m2 = tf.constant([[2],[3]])product = tf.matmul(m1, m2)print(product)# Tensor("MatMul:0", shape=(1, 1),...原创 2019-05-04 11:17:43 · 221 阅读 · 0 评论 -
损失函数中的交叉熵损失和均方损失比较
损失函数之均方误差MSE(一般用于回归问题)回归问题与分类问题不同，分类问题是判断一个物体在固定的n个类别中是哪一类。回归问题是对具体数值的预测。比如房价预测，销量预测等都是回归问题，这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回归问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。而回归问题最常用的损失函数是均方误差MSE，定义如下：上式中...原创 2019-05-20 17:23:47 · 2253 阅读 · 0 评论