
Deep Learning
文章平均质量分 82
Glory@OUC
Ph.D. in Computer Science
展开
-
Keras对多维Tensor的argmax()解析
基础理论argmax中的axis参数表示在该维度上比较各元素。并且,张量各维度对换,不影响在该维度取argmax()的结果。a = tf.constant([[[1, 2, 3], [3, 2, 2]], [[10, 11, 12], [4, 5, 6]]]) # a是个2*2*3的tensorb = tf.argmax(a, axis=1, output_type=tf.int32)a...原创 2020-01-03 21:25:35 · 3821 阅读 · 0 评论 -
Tensorflow tf.nn.in_top_k Error targets[0] is out of range
https://stackoverflow.com/questions/38646328/tensorflow-tf-nn-in-top-k-error-targets0-is-out-of-range越来越发现overstack上的东西含金量很高。这个错误在国内网站上绝种,在overstack上找到了这个以后大致一看就有数了。本质上是生成数据集所包含的label不存在,导致在训练的过原创 2017-07-16 13:04:39 · 2038 阅读 · 1 评论 -
一张图说明softmax layer是什么
转载 2017-07-16 15:30:35 · 671 阅读 · 0 评论 -
Tensorflow中Graph的概念
一、英文文档深入解读class tf.GraphA TensorFlow computation, represented as a dataflow graph.Graph实际上是一个由数据流图表示的计算过程A Graph contains a set of Operation objects, which represent units of computation; and原创 2017-07-17 13:22:50 · 978 阅读 · 0 评论 -
tensorflow官网Cifar-10改为自己的TFRecords数据集
已经改完了,中间有些过程记得比较模糊,能想起哪些就记下来哪些吧。官网Cifar-10都是已经下载好的数据集,所以一般是以bin或者压缩文件的形式存在,这一点可以在cifar10_train文件的最后一段main函数中cifar10.maybe_download_and_extract()体现,但是我们在训练过程中不会再去把自己的数据集压缩成文件再解压训练,都是直接生成TFRecor原创 2017-07-17 09:55:15 · 3096 阅读 · 0 评论 -
Tensorflow InvalidArgumentError Invalid JPEG data, size xxxx
非常多次遇到这个问题,今天把来龙去脉搞清楚了,在这里做个记录。一般遇到这个错误的都是在生成TFRecords文件的时候,这个错误转换过来的意思就是你生成tfrecords文件的过程中,一个size为xxxx的文件不是一个规范的jpeg文件,所以在生成tfrecords过程中出错。假设这个文件名字叫A.jpg原因如下:首先,A.jpg一定不是一个规范的jpg文件。JPEG格式是有原创 2017-07-21 14:51:16 · 5587 阅读 · 7 评论 -
tensorflow图片预处理和测试效果(resize,crop,pad等)
#%% 读图片代码import matplotlib.pyplot as plt # plt 用于显示图片import matplotlib.image as mpimg # mpimg 用于读取图片import tensorflow as tftest_image = 'G:/ZhangSG/01.jpg'image_raw_data_jpg = tf.gfile.FastGFile原创 2017-07-21 15:01:12 · 5484 阅读 · 0 评论 -
生成TFRecords文件代码(最终版,亲测可用)
直接上代码,然后底下补充注意事项。亲测可用#coding:utf-8import tensorflow as tfimport osimport os.pathos.environ["CUDA_VISIBLE_DEVICES"] = "1"def _int64_feature(value): return tf.train.Feature(int64_list=tf原创 2017-07-21 15:20:05 · 1341 阅读 · 0 评论 -
使用caffe训练时Loss变为nan的原因
今天遇到NaN的问题,按照下文提示改了learning rate成功跑通。特此转载。转载自:https://zhuanlan.zhihu.com/p/25110930梯度爆炸原因:梯度变得非常大,使得学习过程难以继续现象:观察log,注意每一轮迭代后的loss。loss随着每轮迭代越来越大,最终超过了浮点型表示的范围,就变成了NaN。措施: 1. 减转载 2017-07-25 14:37:31 · 618 阅读 · 0 评论 -
Indoor Scene Recognition 室内场景识别数据集
为下一步论文做准备。有一个数据集过大,100多个G,从网上找到一个轻量级的室内场景识别数据集,MIT的,在这里留存一下。数据集下载链接:http://web.mit.edu/torralba/www/indoor.html原创 2017-07-25 15:22:25 · 8131 阅读 · 2 评论 -
python文件分段的两种方式
方式一:# In[]方式二:#%%原创 2017-07-26 21:59:21 · 9837 阅读 · 4 评论 -
python 可不可以像R那样保存内存中的变量?
https://www.zhihu.com/question/36170306/answer/66536710import picklevalue = ['Liu zong is sexy.', 'Liu zong is hot.']pickle.dump(value, open('C:/Users/sliu/Desktop/tmp.txt', 'wb'))getb转载 2017-09-03 18:45:15 · 1540 阅读 · 0 评论 -
凸优化问题
数学中最优化问题原创 2017-10-15 17:14:58 · 4744 阅读 · 0 评论 -
Python中的路径问题
相信程序员们满心欢喜拿到别人家的代码,最郁闷的一件事情就是修改路径了。斜杠反斜杠傻傻分不清楚。今天取得的经,先记下来,待考证。. 代表当前路径;.. 代表上一路径;folderA/ 或者 folderA\\ 代表folderA文件夹下的路径(也就是\ 和 // 等效);./ 代表当前路径原创 2017-07-06 14:39:52 · 420 阅读 · 0 评论 -
convert_to_records.py路径修改
# Copyright 2015 The TensorFlow Authors. All Rights Reserved.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# Y原创 2017-07-06 00:56:32 · 726 阅读 · 0 评论 -
Caffe全环境配置备忘录
VS2013+CUDA7.5(+cudnn7.0)+Opencv3.0.0+caffe只记录经验,不做复制粘贴。提供所有包下载。原创 2016-11-14 20:53:09 · 660 阅读 · 0 评论 -
场景识别学习笔记日记2016.11.24
一、几个重要的网址 1、matlab 安装 vl_feat:http://blog.youkuaiyun.com/u013213396/article/details/42629105 摘要:这个包里面含有各种图像处理需要的工具,比如提取 hog,sift 特征,训练线性 svm 参数等。2、布朗大学公开课中的第三个作业,和场景识别有关:http://cs.brown.edu/course原创 2016-11-24 21:23:50 · 1310 阅读 · 0 评论 -
Windows下编译CAFFE+CUDA, 运行时提示status == CUDNN_STATUS_SUCCESS错误
运行caffe训练时,提示如下错误:F0122 14:42:15.990329 3128 cudnn_conv_layer.cpp:53] Check failed: status == CUDNN_STATUS_SUCCESS (6 vs. 0) CUDNN_STATUS_ARCH_MISMATCH*** Check failure stack trace: ***转载 2016-12-21 23:16:28 · 1132 阅读 · 0 评论 -
deep learning 随手笔记
deep learning出论文的三个方向:模型优化,损失函数,GPU加速方案。损失函数目前不知道什么意思GPU加速方案指的是用GPU Nvdia一类的工具来优化编程上一篇博客提到需要3.0以上的GPU CUDA Capability才能跑CUDNN,这个目前存疑,是需要升级硬件还是需要升级软件呢?原创 2016-12-23 00:40:42 · 404 阅读 · 0 评论 -
Caffe操作技巧之如何快速准备自己的lmdb数据集
这一期背景是安装完成了Caffe,在研究如何由图片转为lmdb文件时,在图片训练集上犯了愁。既不想下载imagenet,又不想费尽心思自己再准备个数据集(毕竟只是想简单测试一下Caffe,想体验一下跑自己数据集的快感)。于是各种歪脑子动尽,技巧列在下面了。原创 2017-02-07 14:48:53 · 1174 阅读 · 0 评论 -
深度学习视觉领域常用数据集汇总
[导读] “大数据时代”,数据为王!无论是数据挖掘还是目前大热的深度学习领域都离不开“大数据”。大公司们一般会有自己的数据,但对于创业公司或是高校老师、学生来说,“Where can I get large datasets open to the public?”是不得不面对的一个问题。本文结合笔者在研究生学习、科研期间使用过以及阅读文献了解到的深度学习视觉领域常用的开源数据集,进行转载 2017-02-08 09:59:52 · 1436 阅读 · 0 评论 -
convert_imageset.exe的生成
也不知道是不是自己太愚钝,所有由convert_imageset.cpp生成convert_imageset.exe的就一句话带过,而且还用了半个上午的时间。弄完以后看看确实不难,但是思路却是很重要的。自己走入了莫大的误区。首先是误区总结:尝试把convert_imageset.cpp单独生成。受到网上资料的误导,尝试着去单独编译cpp文件,自然报了无数的错,主要是include各类文原创 2017-01-26 11:27:14 · 2520 阅读 · 5 评论 -
windows下安装tensorflow:spyder点不开,没反应
一、tensorflow安装过程,首先是建立一个名称为tensorflow的类似命名空间的东西,用anaconda navigator或者promot命令行都可以,然后直接在promt里面安装tensorflow,命令行不用那些复杂的,直接一句pip install tensorflow-gpu就行了,如果因为网速不行再换清华的镜像什么的。如果只建立一个tensorflow的命名空间而不运行p原创 2017-06-10 13:00:57 · 12978 阅读 · 8 评论 -
关于python下划线命名的事儿以及magic变量相关
python笔记_magic变量和函数前言先扯一点背景知识PEP8(Python Enhancement Proposal)是一份python的编码规范,链接:http://www.python.org/dev/peps/pep-0008/在这份编码规范中的“命名规范-命名风格”这一节的最后,提到了对几种使用前置和后置下划线的,对变量的比较特殊的命名方式:单下划线开头:转载 2017-07-13 09:46:02 · 513 阅读 · 0 评论 -
关于python编码和magic变量和函数
http://www.cnblogs.com/zhuangxiu/p/4797245.htmlpython笔记_magic变量和函数前言先扯一点背景知识PEP8(Python Enhancement Proposal)是一份python的编码规范,链接:http://www.python.org/dev/peps/pep-0008/在这份编码规范中的“命名规转载 2017-07-13 09:49:05 · 494 阅读 · 0 评论 -
Tensorflow Deep MNIST: Resource exhausted: OOM when allocating tensor with shape[10000,32,28,28]
今天测试卷积神经网络报了如题所示的错误,我跑的代码如下。from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets('MNIST_data', one_hot=True)import tensorflow as tfsess = tf.InteractiveSes原创 2017-07-04 16:51:42 · 11740 阅读 · 1 评论 -
tf.train.match_filenames_once如何验证文件是否正确读取?
用到了tf.train.match_filenames_once这个函数去读取tfrecords文件,却不知道文件是否已经读取到,原创 2017-07-14 12:12:26 · 5115 阅读 · 2 评论 -
OpenCV3.0.0与3.1.0在配置环境方面的差别
在这里主要关注了两个点:一个是OpenCV两个版本的差异,另一个是配置在不同机器(32位和64位)方面的差异。第一:两个版本的配置区别网上教程无数,但到“附加依赖项”这一步骤配置时都会通知将opencv_ts300.lib,opencv_ts300d.lib,opencv_world300.lib,opencv_world300d.lib都配置进去。这一步普遍适用于3.0.0这个版本,因为原创 2016-11-14 09:33:55 · 1979 阅读 · 0 评论