深度学习
关注
分享
扫一扫
文章平均质量分 91
玥晓珖
一起学习深度学习
展开
-
tf.nn.sparse_softmax_cross_entropy_with_logits &tf.nn.softmax_cross_entropy_with_logits
两个函数的区别两个函数虽然功能类似，但是其参数labels有明显区别。tf.nn.softmax_cross_entropy_with_logits（）中的logits和labels的shape都是[batch_size, num_classes]，而tf.nn.sparse_softmax_cross_entropy_with_logits（）中的labels是稀疏表示的，是 [0，num_...原创 2019-01-29 02:54:31 · 432 阅读 · 0 评论 -
机器学习pytorch平台代码学习笔记（1）——numpy 和Pytorch
1. numpy & pytorchTorch 自称为神经网络界的 Numpy, 因为他能将 torch 产生的 tensor 放在 GPU 中加速运算 (前提是你有合适的 GPU), 就像 Numpy 会把 array 放在 CPU 中加速运算.。在pytorch中能自由地转换 numpy array 和 torch tensor 。import torchimport numpy a...原创 2018-05-03 19:00:58 · 718 阅读 · 0 评论 -
机器学习pytorch平台代码学习笔记（2）——Variable
Variable 计算时, 它在背景幕布后面一步步默默地搭建着一个庞大的系统, 叫做计算图, computational graph. 会将所有的计算步骤 (节点) 都连接起来, 最后进行误差反向传递的时候, 一次性将所有 variable 里面的修改幅度 (梯度) 都计算出来, 而 tensor 就没有这个能力1.我们定义一个 Variable:import torchfrom torch....原创 2018-05-03 19:19:33 · 696 阅读 · 0 评论 -
机器学习pytorch平台代码学习笔记（3）——激励函数
你的神经网络层只有两三层, 不是很多的时候, 对于隐藏层, 使用任意的激励函数都是可以的, 不会有特别大的影响. 不过, 当你使用特别多层的神经网络, 不得随意选择利器. 因为这会涉及到梯度爆炸, 梯度消失的问题.在少量层结构中, 我们可以尝试很多种不同的激励函数. 在卷积神经网络 Convolutional neural networks 的卷积层中, 推荐的激励函数是 relu. 在循环神经网...原创 2018-05-03 19:29:21 · 498 阅读 · 0 评论 -
机器学习pytorch平台代码学习笔记（5）——分类模型
1.构建数据集：import torchfrom torch.autograd import Variableimport matplotlib.pyplot as plt# 假数据n_data = torch.ones(100, 2) # 数据的基本形态x0 = torch.normal(2*n_data, 1) # 类型0 x data (tensor),...原创 2018-05-03 21:56:57 · 1043 阅读 · 0 评论 -
杂记（三）：运行代码时显示显卡设备是不可移动的，无法弹出或拔出
问题如图：问题：显卡驱动过新方法：根据显卡型号换一个旧版本驱动。可以在驱动精灵直接操作先卸载在安装低版本的:打开驱动精灵——驱动管理——找到对应驱动——选择合适版本——选择或者安装。如果安装不成功先卸载重启后重新安装。参考：http://www.th7.cn/system/win/201706/216388.shtmlhttps://blog.youkuaiyun.com/liuyl2016/article/...原创 2018-05-04 11:23:35 · 4378 阅读 · 0 评论 -
机器学习pytorch平台代码学习笔记（6）——快速搭建方法和保存提取
1. 快速搭建方法前面两篇文章我们用这种方式搭建神经网络：class Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() self.hidden = torch.nn.Linear(n_feature, n_h...原创 2018-05-06 21:40:12 · 320 阅读 · 0 评论 -
机器学习pytorch平台代码学习笔记（7）——批训练
当数据量很大的时候，选择一批一批的数据进行训练，加快速度效率。import torchimport torch.utils.data as Data #Data是进行小批量的模块torch.manual_seed(1) # reproducibleBATCH_SIZE = 5 # 批训练的数据个数，大数量中每次抽取五个x = torch.linspace(1, 10,...原创 2018-05-07 09:37:32 · 1141 阅读 · 0 评论 -
备份win7系统搭建好的深度学习平台
建议每次安装好所有系统之后进行备份，避免一朝不慎毁所有的悲剧系统win7，搭建TensorFlow和pytorch平台搭建平台链接：https://blog.youkuaiyun.com/u010327061/article/details/80150106备份和还原步骤：参考链接：https://jingyan.baidu.com/article/60ccbceb005e4c64cab197d6.html...原创 2018-05-13 22:01:15 · 249 阅读 · 0 评论 -
Windows下基于python（anaconda）安装gpu版本的TensorFlow，kears，pytorch深度学习框架
对比TensorFlow和pytorch：PyTorch更适合于在研究中快速进行原型设计、业余爱好者和小型项目，TensorFlow则更适合大规模的调度，尤其当考虑到跨平台和嵌入式调度操作时。此文章安装三个深度学习主流框架。自身系统是Windows7，亲测可用安装链接参考：https://blog.youkuaiyun.com/colourful_sky/article/details/7...原创 2018-05-01 14:25:45 · 5348 阅读 · 0 评论 -
深度学习（一）：虚拟机Linux系统搭建CPU TensorFlow
最近重装了一遍，在此捋一捋：1.在win7下进行Linux虚拟机搭建参考链接：在win7下进行Linux虚拟机搭建对于Linux系统。最易于理解的版本就是著名的Ubuntu，下载和使用都是免费的，下载链接：Ubuntu下载，因为据说Ubuntu16版本会卡，所以选择的是Ubuntu14，桌面版，ubuntu-14.04.5-desktop-amd64.iso。2.在Linux系统搭建TensorF...原创 2018-04-24 10:07:29 · 8566 阅读 · 2 评论 -
深度学习超分辨率重建（四）： TensorFlow—— VDSR
基于TensorFlow的代码下载：https://github.com/Jongchan/tensorflow-vdsrhttps://文章链接：(Accurate Image Super-Resolution Using Very Deep Convolutional Networks, CVPR2016)环境配置：深度学习（一）：虚拟机Linux系统搭建CPU TensorFlow基础理论学...原创 2018-04-26 20:05:12 · 9735 阅读 · 21 评论 -
Windows下安装tensorflow GPU版本报错：OSError: [WinError 126] 找不到指定的模块/Could not find 'cudart64_90.dll'.http
转载链接:https://blog.youkuaiyun.com/wobeatit/article/details/79207196之前一直在学深度学习的理论知识，今日心血来潮，突然想试试深度学习框架的使用，因为之前在学习卷积神经网络时，一直使用的都是python，于是此次选择深度学习框架时，我锁定了TensorFlow这一款由Google开发基于python编程的深度学习框架。 在安装Tens...转载 2018-05-12 19:42:24 · 2317 阅读 · 0 评论 -
Windows的cmd中cd指令切换路径（和Linux不同）
转载链接：https://blog.youkuaiyun.com/jmhjava/article/details/77198409Windows的cmd中cd指令无法转换路径怎么办？1，首先我们看看盘符，我的电脑里有 C D E盘。2，按下WIN+R键 输入cmd，打开cmd窗口。3，默认路径为用户文档路径，如果想切换到D盘 ，输入cd d: 是不行的。4，AppData是C盘里的一个目录，如果用cd指令...转载 2018-05-13 14:05:43 · 2136 阅读 · 0 评论 -
PyTorch no longer supports this GPU because it is too old.（亲测可用）
我的显卡型号是NVIDIA GeForc GTX 950M,原创 2018-05-13 14:38:41 · 6341 阅读 · 2 评论 -
deeplearning.ai 吴恩达网上课程学习（十二）——超参数调优、Batch正则化理论及深度学习框架学习
参考链接：https://www.missshi.cn/api/view/blog/5a2273939112b35ff3000002在本文中，我们将了解一些机器学习中的超参数调优、Batch正则化及深度学习框架。主要包括：1. 超参数调试经验2. 深层神经网络中隐藏层的归一化3. Batch正则化4. Softmax分类回归问题5. 深度学习框架简介1.超参数调试经验：① 假设有两个超参数：参数1...原创 2018-04-22 11:32:29 · 388 阅读 · 0 评论 -
deeplearning.ai 吴恩达网上课程学习（十三）——TensorFlow入门
参考链接：https://www.missshi.cn/api/view/blog/59bbcb46e519f50d04000206在使用Tensorflow框架时，通常的步骤如下：1. 初始化变量2. 启动一个Session3. 训练算法4. 完成神经网络1. Tensorflow库import tensorflow as tffrom tensorflow.pyth...翻译 2018-04-22 15:34:18 · 1277 阅读 · 0 评论 -
deeplearning.ai 吴恩达网上课程学习（十四）——机器学习调优通用理论讲解
参考链接：https://www.missshi.cn/api/view/blog/5a8d4064c55cb02519000000主要是对原文的归纳总结：1.机器学习策略2.正交化调参：3.评估指标、优化指标和满足指标我们需要寻找一个返回结果为实数函数来作为评估指标。 4.训练集、验证集和测试集：验证集和测试集应该来源于同一分布，且与真实需求一致： 我们应该将所有不同区域的数据随机打乱，并从中任...翻译 2018-04-22 16:44:23 · 283 阅读 · 0 评论 -
deeplearning.ai 吴恩达网上课程学习（十五）——卷积神经网络及其TensorFlow代码实现
前面提到过：本文主要针对于卷积神经网络的讲解。1、卷积神经网络1.1.计算机视觉：随着深度学习技术的发展，计算机视觉领域的研究也得到了快速的发展。在对各种图像进行处理的过程中，往往在少量的图像中便蕴含着大量数据，难以用一般的DNN进行处理。而卷积神经网络（Convolutional Neural Network, CNN）作为一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，在图...原创 2018-04-22 21:34:30 · 3613 阅读 · 1 评论 -
基于TensorFlow虚拟环境的Jupyter Notebook的使用windows
1.环境搭建：直接运行jupyter notebook将不能看到我们之前搭建的虚拟环境。为了让Jupyter Notebook支持虚拟运行环境，需要在Anaconda里安装一个插件。回到终端下面，用Ctrl+c退出目前正在运行的Jupyter Notebook Server，然后执行：conda install nb_conda再重新开启Jupyter Notebook：jupyter note...原创 2018-05-14 11:07:04 · 2316 阅读 · 0 评论 -
机器学习pytorch平台代码学习笔记（11）——多线程 Threading
多线程是加速程序计算的有效方式，类似于并行计算，在一个脚本中同一时间同时运行多个程序。1.多线程基础操作：1.1导入模块import threading1.2获取已激活的线程数print(threading.active_count())1.3查看所有线程信息print(threading.enumerate())# [<_MainThread(MainThread, started 1...原创 2018-05-14 21:50:28 · 9265 阅读 · 0 评论 -
win10下anaconda中调用libtiff报错ModuleNotFoundError: No module named 'libtiff'的解决办法
错误照片：做法：“输入命令 pip list发现安装的包里没有libtiff，于是我到网站里下载了libtiff的whl文件。下载地址是https://www.lfd.uci.edu/~gohlke/pythonlibs/，要选择与自己的电脑还有安装的python适配的版本，cp后面是适配的python版本，win后面是系统。如果下载了不匹配的文件，安装时会报错。”在a...原创 2018-11-08 07:55:49 · 3199 阅读 · 1 评论 -
matlab 2018b查看nii图像
1.下载Tools for NIfTI (ANALYZE) MR image工具包：谷歌第一个：https://www.mathworks.com/matlabcentral/fileexchange/8797-tools-for-nifti-and-analyze-image下载后将解压后的文件夹放入MATLAB安装路径中的toolbox中2.在MATLAB中加载工具包路径;...原创 2018-11-14 00:52:26 · 4490 阅读 · 17 评论 -
运行U-net进行图像分割
运行环境：Windows平台下的TensorFlow之前搭建过程：https://blog.youkuaiyun.com/u010327061/article/details/80150106“数据准备：原始数据：首先准备数据，参考数据来自于 ISBI 挑战的数据集。数据可以在 这里 下载到，含30张训练图、30张对应的标签。30张测试图片，均为.tif 格式文件。 增强后的数据 ：谷...原创 2018-11-09 04:59:26 · 4619 阅读 · 28 评论 -
Tensorflow，CNN和MNIST数据 识别手写的数字（入门，完整代码，问题解析）
MNIST解析：1. 导入所需模块：#读图from PIL import Image#显示import matplotlib.pyplot as plt#TensorFlowimport tensorflow as tf#MNIST数据from tensorflow.examples.tutorials.mnist import input_data2.下载并读入M...原创 2018-11-15 05:08:29 · 2917 阅读 · 0 评论 -
TensorFlow中的name 和python代码中的变量名
在上篇文章（Tensorflow，CNN和MNIST数据 识别手写的数字（入门，完整代码，问题解析））中，使用CNN训练MNIST数据出现了模型恢复问题，其根源在于TensorFlow的命名空间。今天特地在此屡屡。 在学TensorFlow时必须看懂的一句话：“Python命名空间和TensorFlow命名空间好比为两个平行线。TensorFlow空间中的命名实际上是属于任何Te...原创 2018-11-17 03:18:10 · 2140 阅读 · 2 评论 -
Tensorflow，Alexnet和MNIST数据 识别手写的数字（入门，代码，解析）
2012年，Hinton的学生Alex Krizhevsky提出了深度卷积神经网络模型AlexNet，它可以算是LeNet的一种更深更宽的版本。AlexNet以显著的优势赢得了竞争激烈的ILSVRC 2012比赛，top-5的错误率降低至了16.4%，远远领先第二名的26.2%的成绩。AlexNet的出现意义非常重大，它证明了CNN在复杂模型下的有效性，而且使用GPU使得训练在可接受的时间范围内得...原创 2018-11-22 04:11:49 · 2777 阅读 · 2 评论 -
全连接层VS卷积层
1.全连接层：全连接层的每一个结点都与上一层的所有结点相连。类似下图：2.卷积层：参看：卷积神经网络反卷积/转置卷积 的理解 transposed conv/deconv3.全连接层转化为卷积层有兴趣的先看看Alexnet的网络结构。Tensorflow，Alexnet和MNIST数据 识别手写的数字（入门，代码，解析），此链接和本文的Alexnet参数不一致，...原创 2018-11-29 05:27:37 · 1010 阅读 · 0 评论 -
tf.device
如果需要切换成CPU运算，可以调用tf.device(device_name)函数，其中device_name格式如/cpu:0其中的0表示设备号，TF不区分CPU的设备号，设置为0即可。GPU区分设备号\gpu:0和\gpu:1表示两张不同的显卡。 在一些情况下，我们即使是在GPU下跑模型，也会将部分Tensor储存在内存里，因为这个Tensor可能太大了，显存不够放，相比于显存，内存一般大多...转载 2018-11-10 23:45:00 · 2216 阅读 · 0 评论 -
深度学习平台 ubuntu 16.4+cuda9.0+cudnn7+pytorch0.4
显卡：原创 2018-07-11 20:56:44 · 9668 阅读 · 0 评论 -
python-IDE-spyder自动设置时间，作者、联系方式的方法--python学习笔记27
转载链接：https://blog.youkuaiyun.com/qq_26948675/article/details/539996001、安装好spyder2、打开Spyder，tools,reference,editor,advance-setting,点击edit temptlate for new modules,然后修改部分信息3、添加部分信息，修改成自己想要的。如我添加一句话：One is me...转载 2018-05-08 15:21:46 · 2494 阅读 · 0 评论 -
机器学习pytorch平台代码学习笔记（8）——优化器 Optimizer
理论知识学习：deeplearning.ai 吴恩达网上课程学习（十一）——优化算法理论讲解和代码实战以下包括以下几种模式:Stochastic Gradient Descent (SGD) 比较基础MomentumRMSPropAdam1. 引入库import torchimport torch.utils.data as Dataimport torch.nn.functional as ...原创 2018-05-08 15:47:02 · 2363 阅读 · 2 评论 -
机器学习pytorch平台代码学习笔记（9）——卷积神经网络
理论知识学习：deeplearning.ai 吴恩达网上课程学习（十五）——卷积神经网络及其TensorFlow代码实现本文将做一个分析手写数字的 CNN：1. MNIST手写数据import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport ...原创 2018-05-08 22:25:22 · 1005 阅读 · 0 评论 -
反卷积/转置卷积 的理解 transposed conv/deconv
转载出处: https://blog.youkuaiyun.com/u014722627/article/details/60574260搞明白了卷积网络中所谓deconv到底是个什么东西后，不写下来怕又忘记，根据参考资料，加上我自己的理解，记录在这篇博客里。先来规范表达为了方便理解，本文出现的举例情况都是2D矩阵卷积，卷积输入和核形状都为正方形，x和y轴方向的padding相同，stride也相同。记号： ...转载 2018-06-12 15:48:44 · 1279 阅读 · 0 评论 -
梯度弥散与梯度爆炸
https://www.cnblogs.com/yangmang/p/7477802.html问题描述先来看看问题描述。当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。下面以2层隐藏层神经网络为例，进行说明。结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整体速度都要大于...转载 2018-06-12 20:33:54 · 256 阅读 · 0 评论 -
深度学习训练模型的硬件条件
https://blog.youkuaiyun.com/caimouse/article/details/77942582从李飞飞的课程里，可以看到她的电脑配置，这个配置是机器学习的基本配置，我们可以参考一下：http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture8.pdfCPU： intel core i7-7700k 4.4G内存：4X8G 显...原创 2018-06-24 21:29:44 · 15324 阅读 · 2 评论 -
深度学习pytorch代码各种常见头文件
1. from __future__ import print_function 在开头加上from __future__ import print_function这句之后，即使在python2.X，使用print就得像python3.X那样加括号使用。python2.X中print不需要括号，而在python3.X中则需要。# python2.7print "Hello world"#...原创 2018-06-27 11:27:54 · 2516 阅读 · 0 评论 -
深度学习超分辨率重建（三）： TensorFlow—— ESPCN
基于TensorFlow的代码下载：https://github.com/drakelevy/ESPCN-TensorFlowhttps://文章链接：(Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network, CVPR2016)环境配置：...原创 2018-04-26 15:25:52 · 12453 阅读 · 0 评论 -
深度学习超分辨率重建（二）： TensorFlow——FSRCNN
基于TensorFlow的代码下载：https://github.com/yifanw90/FSRCNN-TensorFlow文章链接：(Accelerating the Super-Resolution Convolutional Neural Network, ECCV2016)环境配置：深度学习（一）：虚拟机Linux系统搭建CPU TensorFlow基础理论学习方便理解：deeplear...原创 2018-04-26 14:14:40 · 7654 阅读 · 16 评论 -
机器学习（十一）：CS229ML课程笔记（7）——模型选择，特征选择
总结：1. 模型选择：——交叉验证（Model selection）① 保留交叉验证（Hold-out cross validation）② k重交叉验证（k-fold cross validation）③ 留一验证法（Leave-one-out cross validation）2. 特征选择（Feature selection）① 正向搜索/反向搜索（forward/backwardsearc...原创 2018-04-10 09:43:16 · 919 阅读 · 0 评论