yegeli的博客

PyTorch 中文手册（pytorch handbook）书籍介绍这是一本开源的书籍，目标是帮助那些希望和使用PyTorch进行深度学习开发和研究的朋友快速入门。由于本人水平有限，在写此教程的时候参考了一些网上的资料，在这里对他们表示敬意，我会在每个引用中附上原文地址，方便大家参考。深度学习的技术在飞速的发展，同时PyTorch也在不断更新，且本人会逐步完善相关内容。版本说明由于PyTorch版本更迭，教程的版本会与PyTorch版本，保持一致。2020.1.16 PyTorch已经发布1.

文章目录5.3 Fashion MNIST进行分类Fashion MNIST 介绍数据集介绍分类格式数据提交数据加载创建网络损失函数优化器开始训练训练后操作可视化损失函数保存模型模型评估进一步优化再次进行评估总结import torch,mathfrom pathlib import Pathimport pandas as pdimport numpy as npimport matplotlib.pyplot as plt import torchvision.datasets as ds

文章目录5.2 Pytorch处理结构化数据简介数据预处理定义数据集定义模型训练import numpy as npimport pandas as pdimport torchfrom sklearn.preprocessing import LabelEncoderfrom torch.utils.data import Dataset, DataLoaderimport torch.nn.functional as Fimport torch.nn as nnfrom collecti

文章目录5.1 kaggle介绍5.1.1 Kaggle平台简介比赛介绍5.1.2 Kaggle板块介绍DataRulesTeamKernelsDiscussionLeaderboard5.1.3 Kaggle竞赛的排名机制5.1.4 Kaggle薅羊毛指南5.1.5 其他的一些数据竞赛平台5.1 kaggle介绍5.1.1 Kaggle平台简介Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆（Anthony Goldbloom）2010年在墨尔本创立的，主要为开发商和数据科学家提供举办机器

文章目录4.5 多GPU并行训练4.5.1 torch.nn.DataParalle4.5.2 torch.distributed4.5.3 torch.utils.checkpointimport torchimport torchvisiontorch.__version__'1.0.0'4.5 多GPU并行训练在我们进行神经网络训练的时候，因为计算量巨大所以单个GPU运算会使得计算时间很长，使得我们不能够及时的得到结果，例如我们如果使用但GPU使用ImageNet的数据训练一个分类器

文章目录4.3 fastai4.3.1 fastai介绍fastai库fast.ai课程Github4.3.2 fastai实践MNIST4.3.3 fastai文档翻译import fastaifrom fastai import *from fastai.vision import *import torchprint(torch.__version__)print(fastai.__version__)1.0.01.0.454.3 fastai4.3.1 fastai介绍fa

文章目录4.2.3 可视化理解卷积神经网络背景基于Deconvolution的方法基于Backpropagation的方法Guided-BackpropagationCAM（Class Activation Map）Grad-CAM%load_ext autoreload%autoreload 2import torchimport numpy as npimport torch.nn as nnimport torch.nn.functional as Ffrom PIL import Im

文章目录4.2.2 使用Tensorboard在 PyTorch 中进行可视化Tensorboard 简介Tensorboard 安装页面SCALARIMAGESGRAPHSHISTOGRAMSPROJECTOR使用图像展示更新损失函数使用PROJECTOR对高维向量可视化绘制网络结构import torchimport numpy as npimport torch.nn as nnimport torch.nn.functional as Ffrom PIL import Imagefrom

文章目录4.2.1 使用Visdom在 PyTorch 中进行可视化安装坑基本概念EnvironmentsPanesVIEW可视化接口使用绘制简单的图形更新损失函数import torchimport mathimport numpy as npfrom visdom import Visdomimport timetorch.__version__'1.0.0'4.2.1 使用Visdom在 PyTorch 中进行可视化Visdom是Facebook在2017年发布的一款针对PyTo

文章目录4.1 Fine tuning 模型微调4.1.1 什么是微调为什么要微调迁移学习 Transfer Learning二者关系4.1.2 如何微调4.1.3 注意事项4.1.3 微调实例4.1.4 固定层的向量导出%matplotlib inlineimport torch,os,torchvisionimport torch.nn as nnimport torch.nn.functional as Fimport pandas as pdimport numpy as npimpo

文章目录3.3 通过Sin预测Cos3.3 通过Sin预测Cos%matplotlib inlineimport torchimport torch.nn as nnfrom torch.nn import functional as Ffrom torch import optimimport numpy as npfrom matplotlib import pyplot as pltimport matplotlib.animationimport math, randomtor

文章目录3.2 MNIST数据集手写数字识别3.2.1 数据集介绍3.2.2 手写数字识别3.2 MNIST数据集手写数字识别import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformstorch.__version__'1.0.0'3.2.1 数据集介绍MNIST 包

文章目录3.1 logistic回归实战3.1.1 logistic回归介绍3.1.2 UCI German Credit 数据集3.2 代码实战import torchimport torch.nn as nnimport numpy as nptorch.__version__'1.0.0'3.1 logistic回归实战在这一章里面，我们将处理一下结构化数据，并使用logistic回归对结构化数据进行简单的分类。3.1.1 logistic回归介绍logistic回归是一种广义

文章目录2.5 循环神经网络2.5.1 RNN简介RNN的起因为什么需要RNNRNN都能做什么2.5.2 RNN的网络结构及原理RNNLSTMGRU2.5.3 循环网络的向后传播（BPTT）2.5.4 词嵌入（word embedding）2.5.5 其他重要概念Beam search注意力模型import torchtorch.__version__'1.4.0'2.5 循环神经网络2.5.1 RNN简介我们的大脑区别于机器的一个最大的特征就是我们有记忆，并且能够根据自己的记忆对未知的事

文章目录2.4 卷积神经网络简介2.4.1 为什么要用卷积神经网络2.4.2结构组成卷积层卷积计算卷积核大小 f边界填充 (p)adding步长 (s)tride计算公式卷积层激活函数池化层（pooling）dropout层全连接层2.4.3 经典模型LeNet-5AlexNetVGGGoogLeNet (Inception)ResNet退化问题残差网络的解决办法import torchtorch.__version__'1.0.0'2.4 卷积神经网络简介卷积神经网络由一个或多个卷积层和顶端

文章目录2.3 神经网络简介概述神经网络的表示激活函数为什么激活函数都是非线性的sigmod 函数tanh 函数ReLU 函数Leaky Relu 函数深入理解前向传播和反向传播正向传播反向传播2.3 神经网络简介目前最广泛使用的定义是Kohonen于1988年的描述，神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。概述在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的

文章目录2.2 深度学习基础及数学原理2.2.1 监督学习和无监督学习2.2.2 线性回归 （Linear Regreesion）2.2.3 损失函数(Loss Function)nn.L1Loss:nn.NLLLoss:nn.MSELoss:nn.CrossEntropyLoss:nn.BCELoss:2.2.4 梯度下降梯度梯度下降法直观解释Mini-batch的梯度下降法torch.optim.SGDtorch.optim.RMSproptorch.optim.Adam2.2.5 方差/偏差2.2.6

文章目录PyTorch 基础 :数据的加载和预处理DatasetDataloadertorchvision 包torchvision.datasetstorchvision.modelstorchvision.transformsPyTorch 基础 :数据的加载和预处理PyTorch通过torch.utils.data对一般常用的数据加载进行了封装，可以很容易地实现多线程数据预读和批量加载。并且torchvision已经预先实现了常用图像数据集，包括前面使用过的CIFAR-10，ImageNet、C

文章目录PyTorch 基础 : 神经网络包nn和优化器optm定义一个网络损失函数优化器PyTorch 基础 : 神经网络包nn和优化器optmtorch.nn是专门为神经网络设计的模块化接口。nn构建于 Autograd之上，可用来定义和运行神经网络。这里我们主要介绍几个一些常用的类约定：torch.nn 我们为了方便使用，会为他设置别名为nn，本章除nn以外还有其他的命名约定# 首先要引入相关的包import torch# 引入torch.nn并指定别名import torch.nn

文章目录使用PyTorch计算梯度数值Autograd简单的自动求导复杂的自动求导Autograd 过程解析扩展Autogradimport torchtorch.__version__'1.0.1.post2'使用PyTorch计算梯度数值PyTorch的Autograd模块实现了深度学习的算法中的向传播求导数，在张量（Tensor类）上的所有操作，Autograd都能为他们自动提供微分，简化了手动计算导数的复杂过程。在0.4以前的版本中，Pytorch使用Variable类来自动计算所有

文章目录PyTorch 基础 : 张量张量(Tensor)基本类型Numpy转换设备间转换初始化常用方法PyTorch 基础 : 张量在第一章中我们已经通过官方的入门教程对PyTorch有了一定的了解，这一章会详细介绍PyTorch 里面的基础知识。全部掌握了这些基础知识，在后面的应用中才能更加快速进阶，如果你已经对PyTorch有一定的了解，可以跳过此章# 首先要引入相关的包import torchimport numpy as np#打印一下版本torch.__version__'1

数据并行（选读）Authors: Sung Kim and Jenny Kang在这个教程里，我们将学习如何使用 DataParallel 来使用多GPU。PyTorch非常容易就可以使用多GPU，用如下方式把一个模型放到GPU上： device = torch.device("cuda:0") model.to(device)GPU:然后复制所有的张量到GPU上： mytensor = my_tensor.to(device)请注意，只调用my_tensor.to(

文章目录训练一个分类器关于数据？训练一个图像分类器在GPU上训练多GPU训练下一步？训练一个分类器上一讲中已经看到如何去定义一个神经网络，计算损失值和更新网络的权重。你现在可能在想下一步。关于数据？一般情况下处理图像、文本、音频和视频数据时，可以使用标准的Python包来加载数据到一个numpy数组中。然后把这个数组转换成 torch.*Tensor。图像可以使用 Pillow, OpenCV音频可以使用 scipy, librosa文本可以使用原始Python和Cython来加载，或者

文章目录Neural Networks定义网络损失函数反向传播更新权重Neural Networks使用torch.nn包来构建神经网络。上一讲已经讲过了autograd，nn包依赖autograd包来定义模型并求导。一个nn.Module包含各个层和一个forward(input)方法，该方法返回output。例如：它是一个简单的前馈神经网络，它接受一个输入，然后一层接着一层地传递，最后输出计算的结果。神经网络的典型训练过程如下：定义包含一些可学习的参数(或者叫权重)神经网络模型；在

文章目录Autograd: 自动求导机制张量（Tensor）梯度Autograd: 自动求导机制PyTorch 中所有神经网络的核心是 autograd 包。我们先简单介绍一下这个包，然后训练第一个简单的神经网络。autograd包为张量上的所有操作提供了自动求导。它是一个在运行时定义的框架，这意味着反向传播是根据你的代码来确定如何运行，并且每次迭代可以是不同的。示例张量（Tensor）torch.Tensor是这个包的核心类。如果设置.requires_grad 为 True，那么将会追

文章目录1.2 Pytorch环境搭建1.2.1 安装Pytorch1.2.2 配置 Jupyter Notebook1.2.3 测试1.2.4 问题解决问题1：启动python提示编码错误问题2 默认目录设置不起效1.2 Pytorch环境搭建PyTorch的安装十分简单，根据PyTorch官网，对系统选择和安装方式等灵活选择即可。这里以anaconda为例，简单的说一下步骤和要点。国内安装anaconda建议使用清华镜像。前些日子，由于合规问题中科大、清华镜像都已经关闭。目前只有清华镜像恢复，

文章目录PyTorch是什么?Tensors（张量）NumPy 转换CUDA 张量PyTorch是什么?基于Python的科学计算包，服务于以下两种场景:作为NumPy的替代品，可以使用GPU的强大计算能力提供最大的灵活性和高速的深度学习研究平台Tensors（张量）Tensors与Numpy中的 ndarrays类似，但是在PyTorch中Tensors 可以使用GPU进行计算.from __future__ import print_functionimport torch创建

文章目录1.1 Pytorch 简介1.1.1 PyTorch的由来1.1.2 Torch是什么？1.1.3 重新介绍 PyTorch1.1.4 对比PyTorch和Tensorflow1.1.5 再次总结1.1 Pytorch 简介1.1.1 PyTorch的由来很多人都会拿PyTorch和Google的Tensorflow进行比较，这个肯定是没有问题的，因为他们是最火的两个深度学习框架了。但是说到PyTorch，其实应该先说Torch。1.1.2 Torch是什么？Torch英译中：火炬A