wacebb的博客

参考：

问题描述：在debain里安装了jupyter ，安装方法参考https://blog.youkuaiyun.com/wacebb/article/details/117407106?spm=1001.2014.3001.5501然后在zi'j

首先要申明，本人双非研究生，对于我的水平来说。IEEE Access已经很不错了。如果有什么清华北大中科院的大神请绕道。研一的一年中趁着上课的空闲基本弄完了课题。算法结构或者说网络的完成是在2020年疫情7月份的时候。然后就穿插着写论文做实验。之后老师又提出意见，修改然后继续做实验。一直到2021年2月23号才投稿，大半年的时间主要是因为导师在华旧金山大学访学了一年，沟通交流主要靠腾讯会议，日夜颠倒也不是很方便，而且我们一个老师研一研二研三同时带了8个学生，好在我比较积极，一直在催老师。如果你只

RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same。1.错误说的是输入类型和参数类型不一致。输入指的是你网络里的inputs labels参数指定是你的网络本身。2.原因：输入和网络必须同时放到GPU中才能保持一致。解决办法：把输入和网络都放到GPU中。参考：https://blog.youkuaiyun.com/wacebb.

用GPU跑pytorch程序就3点：1.申明用GPU2.把你的model放到GPU上3.把数据和标签放到GPU上详细步骤：1.申明：device=torch.device('cuda' if torch.cuda.is_available() else 'cpu')print(device)如果有多个GPU，你可以选择具体的GPU进行使用。import osos.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"os.environ[.

在使用GPU进行神经网络的训练或者进一步操作时，会遇到TypeError: can't convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.这样的问题。原因：在我们想把 GPU tensor 转换成 Numpy 变量的时候，需要先将 tensor 转换到 CPU 去，因为 Numpy 是 CPU-only 的。解决：一般来说需要在你..

训练网络需要大量的数据，这些数据小则十几G，大则几百G，而且下载又非常慢，所以经常出现图像只下载了一半的现象，再用有问题的数据训练网络的时候，很容易出错。解决办法：直接修改路径就好了 train_dirimport ostrain_dir = '/home/wace/wace/ddddd/fast-neural-style-tensorflow-master/train20144/'def progress(percent, width=50): '''进度打印功能'''

没什么事情做，学学data processing基本介绍主要包括：1.科学计算模块：numpy 和 pandas2.数据可视化;matplotlib3.网页爬虫：https://blog.youkuaiyun.com/wacebb/article/details/1080603241.numpy和pandas：pandas基于numpy，采用矩阵运算，比python自带的列表和字典速度快。1.安装就不多说了，自己pip3或者conda...

#-*- coding: utf-8 -*-import reimport requestsimport sysimport urllib.parseimport osos.makedirs('./img/', exist_ok=True)def get_onepage_urls(onepageurl): """获取单个翻页的所有图片的urls+当前翻页的下一翻页的url""" if not onepageurl: print('已到最后一页, ..

参考莫烦python#导入打开链接的库和正则from urllib.request import urlopenimport re#选择所有内容# if has Chinese, apply decode()html = urlopen("https://morvanzhou.github.io/static/scraping/basic-structure.html").read().decode('utf-8')print(html)找标题内容res = re.findall(

第一步：载入需要的包第二步：需要载入测试的数据 无论是一张图还是多张图第三步：载入网络第四步：预测第五步：整体测试结果测试部分#载入网络net = Net()#预训练参数载入net.load_state_dict(torch.load(PATH))#计算预测结果outputs = net(images)_, predicted = torch.max(outputs, 1)#打印结果print('Predicted: ', ' '.join('%5s' % clas

训练网络的步骤如下：要载入需要的模块载入数据-主要就是dataset 和 dataloader建网络实例化网络以及损失函数和优化器训练保存模型import torch#导入最基本的包import torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optim#导入优化器的包import torchvisionimport torchvision.transforms as tr.

pytorch 保存和加载模型的方法有两种：1.保存网络的参数import torch#导入模块net=Net()#创建网络，当然还需要损失函数梯度等省略PATH='state_dict_model.pth'#先建立路径torch.save(net.state_dict()，PATH)#保存:可以是pth文件或者pt文件model=Net()model.load_state_dict(torch.load(PATH))#载入保存的模型参数model.eval()#不

首先，神经网络里经常用到的格式一般为三种PIL，Numpy，Tensor，而Tensor是基本的数据类型，在显示Tensor类型的图像时要转换为另外两种类型，而dataset输入格式一般要求为PIL类型（因为我用要使用resize等函数，要求变量为PIL）。所以在显示图像的时候就需要先把自己的数据转换为PIL，在转换为Tensor，特别是用GPU训练时候，要注意关于使用 GPU 有一个点，在我们想把 GPU tensor 转换成 Numpy 变量的时候，需要先将 tensor 转换到 CPU 中去，因为 N

数据：通常来说，先要将数据用python包来加载到numpy里面，再转换成torch.tensor。对于图像-pliiow/opencv对于声音-scipy/librosa对于文本-用python加载就可以torchvision：用于载入图像的包。torchvision.datasets：图片转换包。torch.utils.data.Dataloader:图像转换包。...

在我们训练神经网络的时候，需要有标签的数据，通过以下方法获取：数据文件夹格式如下：test下有三个类别：1 2 3import ospath = "F:/python/pytorch/vgg/data2/test" # 图片集路径classes = [i for i in os.listdir(path)]files = os.listdir(path)test = open("test.txt", 'w')for i in classes: s = 0 fo

用pytorch创建神经网络的步骤如下：1.定义有可学习参数的网络2.用输入数据进行迭代3.通过网络操作输入4.计算损失函数5.反向传播梯度给参数6.更新权重weight = weight - learning_rate * gradient1.定义网络：import torchimport torch.nn as nnimport torch.nn.functional as F#注意是functional 不是functionclass Net(nn.Module):#定义网络

AUTOGRAD: AUTOMATIC DIFFERENTIATION自动梯度：自动微分pytorch的神经网络都包含autograd，autograd提供了自动tensor微分，因为是定义在运行框架里的，所以你的反向传播可以任意的定义/torch.tensor是所有包中最为中心的包，如果设置他的属性，.requires_grad为True，pytorch就会自动追踪所有的操作，当你完成计算时，通过.backward()可以自动计算梯度。tensor的梯度将会自动存到.grad属性。使用.detac

学习pytorch以前一直用pytorch，能读懂程序，但是没有深入学习过，所以决定学习一下pytorch，问了一些老师学长，都说国内的资料不是很好，说直接看官方文档，但是官方文档是英文的，啃起来比较困难，所以做笔记记录一下。链接为官方教程地址：https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html#sphx-glr-beginner-blitz-tensor-tutorial-py ![](https://img-

python的创建目录和文件也是非常方便的。import os, shutilos 是对操作系统调用的接口base_dir='F:/python/dogs-vs-cats/new/new/new'os.mkdir(base_dir) #创建路径train_dir=os.path.join(base_dir,'train')#路径连接：在base_dir后面加trianos.mkdir(train_dir)#创建路径（创建文件夹）效果就是在路径下创建了名为train的文件夹。

首先，使用Keras创建神经网络主要分为四部分：1.定义训练测试数据：输入张量和目标张量。2.定义网络（模型），将输入映射到目标。3.配置学习过程：选择损失函数，优化器，和监控指标。4.fit方法进行训练迭代。5.evaluate测试。6.predict评估。基本过程：1.定义数据：2.定义网络： 1.Sequential类（层的线性堆叠）常用。 from keras import models ...

过拟合：模型在训练上表现越来越好，但是在未见过的数据上表现不好，缺少泛化能力。

DLL load failed 找不到指定模块之前装过这个，也可以用，但是今天要用的时候突然不行了，不管哪个环境，只要一打开就显示 kernel dead。具体错误信息是这样的：可以看到报错代码里面有个zmq文件夹下面的，参考网上的一些做法，然后连猜带蒙重装了pyzmq，问题得以解决。需要在你自己创建的环境中卸载安装。pip uninstall pyzmqpip install pyzmq这样就可以用了。...

第二章：神经网络的数学基础使用keras进行MNIST手写体进行分类：1.加载数据集：from keras.datasets import mnist(train_images,train_labels), (test_images,test_labels)=mnist.load_data()查看数据;train_images.shape(60000,28,28)2.网络架构：from keras import modelsfrom keras import lay.

1.激活函数的作用：提供网络非线性建模的能力，原理就是将数据通过一个非线性函数，修改数据的阿值，使网络具有非线性能力，防止梯度消失。

第一部分：深度学习基础第一章：什么是深度学习？本章介绍了基本的AI和机器学习以及深度学习的区别和关系，以及他们的大概发展，还有未来趋势。主要点：本书最主要想表达的思想就是：我们需要从能够从噪声中识别出信号，从而在过度炒作的新闻稿中发现改变世界的重大进展。1.AI，Machine learning and deep learning的概念和区别：AI：让机器像人一样能够自动的智能的解决问题，完成任务。机器学习：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数...