
python
文章平均质量分 69
alphanoblaker
这个作者很懒,什么都没留下…
展开
-
如何获取cifar10、cifar100等数据集,并保存为图片格式
cifar10等数据集 保存为图片格式原创 2022-11-06 19:54:16 · 2719 阅读 · 0 评论 -
pip安装时出现:WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) ...
win10和ubuntu系统均进行了实际测试;系统pip以及conda环境下的pip问题均可解决问题如下图所示:这种问题的出现是因为开了科学上网的系统代理,可以有两种方法来解决:解决方法一由原因,最方便的方法就是将代理工具先暂时关闭,可以直接解决问题。但是,这种方法因为暂时不能科学上网,如果要google或者看github的话,就会很麻烦,所以建议第二种方法解决方法二经过实践,如果pip版本高于20.2,则pip工具会经过系统的网络代理,所以将pip版本降低到<=20..原创 2022-04-25 18:02:46 · 20059 阅读 · 6 评论 -
python import ... 和 from ... import ... 和各自使用方法差异的说明,以及使用自定义python包和模块
前言我看到有些文章说的是:import 模块:导入一个模块;注:相当于导入的是一个文件夹,是个相对路径。from…import:导入了一个模块中的一个函数;注:相当于导入的是一个文件夹中的文件,是个绝对路径。这里说from … import 导入的是一个函数,这种说法是不对的。经过自己实验:from … import … 可以导入包,模块,函数,类或者变量等等;而import 只能导入包或者模块,不能导入其他具体说明及差异拿常见的numpy举例。部分一以下是numpy一个子包的内容:原创 2022-04-14 16:33:20 · 2935 阅读 · 1 评论 -
python import 搜索包路径的机制,以及添加自定义python包的方法
首先,要搞清楚python中,模块(module)和包(package)的概念在python里,一个.py文件就是一个模块;一个包含__init__.py文件的文件夹就是一个包,也就是模块的集合可以参考:module的官方文档原创 2022-04-14 16:13:35 · 18850 阅读 · 1 评论 -
python内置函数:__matmul__() __rmatmul__() __imul__()
最近看到使用@来代替矩阵乘法的写法,查了一下python的官方文档之后看到如下内容:原创 2022-04-11 09:22:33 · 1252 阅读 · 0 评论 -
pycharm自动生成函数注释及注意事项
不少博客都说过怎么生成注释,但是照着别人的博客自己实践中很多次才成功,简单记录下首先,检查pycharm的设置:如果这里是plain的话,需要先改成其他的选项其次,假如有个函数如下:def func(a, b, c):就可以直接在func的下面输入输入三个单引号 / 双引号:def func(a, b, c): ''' # 或者是 """ # pycharm里面,输入三个单引号 / 双引号之后会自动补充对应的三个,这不影响一定要注意,在3个单引号或者3个双引号的前面,有一个t.原创 2022-03-27 01:28:19 · 19506 阅读 · 4 评论 -
tensorflow利用for循环进行训练遇到的内存爆炸问题(OOM)
最近在用tensorflow学习模型的知识蒸馏,自己基于cifar10数据集训练得到的teacher模型,在对3种不同参数量的student模型使用相同的alpha和temperature参数进行蒸馏之后,得到的实验结果均与论文结果相反(论文:Distilling the Knowledge in a Neural Network)所以自己打算用循环方式遍历多种alpha,temperature的参数组合来对比蒸馏效果(不想自己手动调参了.jpg,在notebook里一遍遍调完参重新跑然后保存数据真难顶.原创 2022-03-24 20:53:23 · 7207 阅读 · 0 评论 -
python multiprocessing.Process与threading.Thread的区别以及多进程,多线程的一些使用方法
在前置的学习过程中遇到了tensorflow的一些问题,就想着用进程或者线程来解决。但是使用过程中出现了不少bug,才有了本文概述Process跟Thread的一些区别如下(不一定全面,只是自己使用中总结的):(下文中会分别用代码说明)首先是内存共享的问题。Thread创建的子线程可以直接使用主线程的变量数据;而Process创建的子进程跟主进程是完全隔离的,如果要用到主进程的变量,就必须作为参数传入,即使将所需变量设置为global也无效(因为设置.原创 2022-03-24 16:20:35 · 2788 阅读 · 0 评论 -
tf...NotFoundError: undefined symbol:_ZNK10tensorflow8OpKernel11TraceStringB5cxx11ERKNS_15OpKerne...
问题出现的背景:之前的工作(文章还未完成)学知识蒸馏的时候,在本地跑tensorflow没有出现问题,但是都是使用CPU在跑代码而且较慢,就想着放到服务器上进行训练试试,就出现了此问题:tensorflow.python.framework.errors_impl.NotFoundError: /home/user/anaconda3/envs/cjctf_py38/lib/python3.8/site-packages/tensorflow/core/kernels/libtfkernel_sob.原创 2022-03-23 19:47:57 · 3122 阅读 · 4 评论 -
pyplot.plot使用遇到:UserWarning: Starting a Matplotlib GUI outside of the main thread will likely fail
在threading.Thread创建的线程中使用了matplotlib.pyplot来做图,但出现:UserWarning: Starting a Matplotlib GUI outside of the main thread will likely fail之后查找Matplotlib官方文档,有这样的描述:Working with threads:Matplotlib is not thread-safe: in fact, there ar.原创 2022-03-23 17:27:15 · 17156 阅读 · 7 评论 -
用pip查看要安装的python包的所有版本
我使用的是ubuntu20.04,windows下操作相同正文首先,我的pip版本如下:然后,就可以通过:: pip index versions [your python module name]#[your python module name]换成你要找的包名来查找你所需要安装的python包的所有版本了演示如下(查找tensorflow版本):附其实自己用好工具自带的功能也能找到这种方法的,如下:#先输入以下命令来查找pip的可用参数选项: pip --help可.原创 2021-11-30 12:10:56 · 42516 阅读 · 4 评论 -
记一次win10安装cupy的失败经历(附 cupy与numpy对比)
win10安装cupy中踩的n多个坑问题的根源应该是我在装cupy之前把Nvidia cuda更新到了最新的11.5版本,原本是10.2版本。中间经历真是太狗血了,花了将近一天时间来搞,当然最后终于好了记录一下中间大概经历的事情吧,也算是个教训了,中间瞎几把拐弯抹角搞了好多东西,也看了很多的博客跟官方文档,但是都没啥用中间因为一直在摸索,没想着会整这么久,绕这么多弯,很多就没有截图记录问题的开始想着先把nvidia的cuda (Compute Unified Device Archit原创 2021-11-08 00:18:05 · 13075 阅读 · 13 评论