- 博客(224)
- 资源 (23)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 [干货] 一文看懂numpy.nonzero() 与 numpy.argwhere()非零元素处理
文章目录0. 前言1. numpy.nonzero()2. numpy.argwhere()0. 前言在各类深度学习的过程中, 难免对非零元素进行处理.在Numpy中,提供了多种非零元素处理的接口和syntactic sugar. 其中就包括 numpy.nonzero() 与 numpy.argwhere()这两个函数,下面,本文将介绍这两个的使用方法与选择思想.1. numpy.nonzero()返回非零元素的索引。返回一个数组元组，a 的每个维度一个，包含该维度中非零元素的索引。例
2021-08-24 21:06:50
4837
原创 [OpenCV] HoughLines和HoughLinesP的区别与不同效果展示
霍夫变换（Hough Transform ）HoughLines 和HoughLinesP 有什么不同？一、背景1. HoughLines定义OpenCV 提供了函数 cv2.HoughLines（）用来实现霍夫直线变换，该函数要求所操作的源图像是一个二值图像，所以在进行霍夫变换之前要先将源图像进行二值化，或者进行 Canny 边缘检测。函数 cv2.HoughLines（）的语法格式为：lines=cv2.HoughLines（image,rho,theta,threshold）式中：● i
2020-06-17 19:42:35
25716
8
原创 -tf.reduce_sum(one_hot_labels * log_probs, axis=-1)是什么损失函数？
-tf.reduce_sum(one_hot_labels * log_probs, axis=-1)是什么损失函数？由于BERT代码当初是用Tensorflow1.x发布的，阅读代码时没太看懂这个loss function
2022-09-15 17:01:57
924
原创 tensor(): argument ‘dtype‘ must be torch.dtype, not torch.tensortype
torch.dtype和torch.tensortype的区别。最近调试代码，报错TypeError: tensor(): argument ‘dtype’ must be torch.dtype, not torch.tensortype，原因则是因为在dtype参数中错误的传递了torch.tensortype。PyTorch有十二种不同的数据类型，简单来说，torch.dtype是现行描述数据类型的形式，存在着Legacy Constructors，他们之间的对应关系如下：Data type
2022-05-30 16:24:03
2171
原创 三行代码：使用一个数组(list)对另一个数组(list)进行排序
Python自带的库中没有直接提供使用一个数组对另一个数组进行排序的方案，但有很直接的解决方案：example:arr1=[5,3,1,4,2]arr2=['e','c','a','d','b']sorted(zip(arr1,arr2))排序后：[(1, 'a'), (2, 'b'), (3, 'c'), (4, 'd'), (5, 'e')]这个例子中就是使用arr1对arr2进行排序，简单来说就是利用了zip打包在一起，然后arr1中的元素作为key进行排序。...
2022-05-19 16:11:51
528
原创 从第一行代码学Python：理解from..import
from ..module import xxx是什么意思？Python中from 省略号/点点 Import ..是什么意思？
2022-05-06 17:45:59
1719
2
原创 相对位置编码两篇简要笔记
Shaw P, Uszkoreit J, Vaswani A. Self-attention with relative position representations[J]. arXiv preprint arXiv:1803.02155, 2018.结合相对位置和绝对位置表征，翻译质量没有进一步提高。英德互译实验结果In our experiments we did not observe any benefit from including sinusoidal position ..
2022-04-25 19:42:46
562
原创 [笔记]BERT数据预处理超长句子的逻辑
if i == len(document) - 1 or current_length >= target_seq_length: if current_chunk: # `a_end` is how many segments from `current_chunk` go into the `A` # (first) sentence. a_end = 1 if len(current_chunk) >= 2...
2022-04-09 20:25:01
1465
原创 [Bug]TypeError: save_pretrained() missing 1 required positional argument: ‘save_directory‘
记录一个Bug，Bug产生的原因:继承了huggingface的tokenizer类。解决方法：构建复写新的完整的父类
2022-04-09 18:48:23
636
转载 查看tfrecord数据内容
import sysimport tensorflow as tfimport configdef main():filepath = config.data_path_tfwith tf.Session() as sess:filenames = [filepath]# 加载TFRecord数据ds = tf.data.TFRecordDataset(filenames)# 读取N条ds = ds.batch(2)ds = ds.prefetch(buffer_size=tf.con
2022-04-03 23:09:29
688
原创 python怎么从文件/字符串读取日期
分享一个相见恨晚的库dateutil，之前只知道Java有，没想到Python也有，只是需要额外安装：pip install python-dateutil安装完成后，解析的字符串很随意，搬运官方的一个example>>> from dateutil.parser import *>>> from dateutil.tz import *>>> from datetime import *>>> TZOFFSETS =
2022-01-12 21:23:40
607
原创 [解决方案] ModuleNotFoundError: No module named ‘propeller‘
在使用Paddle某个预训练模型中，报错ModuleNotFoundError: No module named ‘propeller’官方推荐使用export PYTHONPATH=./:$PYTHONPATH由于并不是一个独立的环境，所以不想添加环境变量。采取另外一种临时解决方案为：将上述代码粘贴到import propeller之前即可...
2021-12-20 19:22:32
594
原创 [解决方案] from propeller.paddle.data import feature_pb2, example_pb2报错
在使用飞桨Paddle某个预训练模型时， from propeller.paddle.data import feature_pb2, example_pb2报错ImportError: cannot import name ‘feature_pb2’ from ‘propeller.paddle.data’查阅了很多资料，均没有相关信息，追溯到手册发现，可能是版本迭代更新的问题。解决方案如下：
2021-12-20 19:21:27
383
原创 不手动配置json文件，vscode选择python环境/解释器
vscode作为免费的编辑器，支持各种语言，只是配置稍显麻烦，网上花里胡哨的json文件不但折磨人，复制粘贴了还不一定能用。这种现象现在已经改观许多了，通过下面这行命令，可以不用手动配置json文件，直接选择。第一步，Ctrl+p，顶端会出现一个命令输入窗口。第二步，复制下面这行代码。（注意，要包括前面那个尖尖）此时就会弹出环境选择的界面：...
2021-12-19 18:04:43
1004
原创 DDP/DistributedDataParallel 报错RuntimeError: Address already in use
在测试pytorch多卡的时候报错：store = TCPStore(master_addr, master_port, world_size, start_daemon, timeout)RuntimeError: Address already in use经查，是还有另外一个任务也在用DDP跑，解决方案：...
2021-12-16 14:23:01
4996
1
原创 [解决方案]ModuleNotFoundError: No module named ‘datasets‘
报错ModuleNotFoundError: No module named ‘datasets’解决方案如下:
2021-12-14 21:34:12
18530
4
原创 怎么同时安装pytorch与tensorflow对应兼容的版本
最近做到一个项目,需要混合使pytorch与tensorflow.并且tensorflow要求1.15.查阅cuda与cudnn版本对应之后, 由于平时使用的pytorch,pytorch也可以指定cuda套件版本,于是乎先装了pytorch1.7,然后尝试用cuda安装tensorflow1.15,却死活都装不上,换成pip装上之后检测不到GPU.cuda与cudnn均是按官网要求来的.conda排查兼容性问题, 结果奇怪,所有的依赖都在其显示的要求之内.后来全部卸载,先裝了tensorfl
2021-12-10 23:03:25
2769
原创 [实时更新]tensorflow与cuda cudnn版本兼容性
官方实时更新地址:[tensorflow与cuda cudnn版本兼容性]tensorflow与cuda cudnn版本兼容性](https://tensorflow.google.cn/install/source#gpu)避免某些朋友浏览不太方便,这里给出最新的结果:Linux:Windows:
2021-12-10 21:53:13
2338
原创 [小技巧] 如何让vscode目录不折叠?
在使用VsCode中, 发现如果是单层文件夹的话,vscode会把目录折叠起来.虽说对于Java的包结构也许会清晰很多,但对于Python用户真的并不是那么方便.解决方案:ctrl+, 打开设置搜索把这个钩取消掉即可恢复为一个正常的VSCode...
2021-11-26 21:03:26
6263
原创 [解决方案] 如何让Ubuntu 切换程序不合并标签
Ubuntu使用Alt+Tab的时候发现会把同一个应用程序的窗口合并在一起,要点击箭头才能选具体的窗口.对这个功能, 我表示很不理解.解决方案:设置->设备->键盘我们可以看到默认的切换窗口是禁用的, Alt+Tab指向的是切换应用程序.我们直接把切换窗口改成Alt+Tab, 切换应用程序的快捷键会自动禁用.此时即可流畅切换....
2021-11-25 18:12:15
1712
原创 [aminer] 2020清华大学人工智能发展报告pdf
「2020清华人工智能发展报告.pdf」，点击链接保存，或者复制本段内容，打开「阿里云盘」APP ，无需下载，极速在线查看享用。
2021-11-24 12:01:16
959
原创 [NLP] 实例讲解 N-gram语言模型 中 Good-Turning 平滑技术
1.背景最近在阅读论文的时候接触到了古德-图灵估计法，感觉比较模糊不清，进一步查阅了一些资料，希望有一个自己的直观理解。…本论文采用的是古德-图灵估计法，其基本思想是对于任意出现r次的n元语法对，都假设它出现了r*次，即降低高概率的n元语法对，提高低概率的n元语法对…1.1 为什么要用平滑技术？通常来讲，我们认为N-gram模型是一个无监督模型，具有非常大的语料库。然而，语料库再大，也会出现未知的N元对。以bigram为例，p(鼠标|弃飞)，语料库再大这个p(鼠标|弃飞)也该等于0吧？天王老
2021-11-23 22:51:09
4048
2
原创 [pandas] df.append()之后数据为空/保存为空的解决方案
从文档中,我们可以推测出这并不是一个原地 操作,而是会返回一个新的DataFrame,目测是通过类似拼接的方式实现的,所以正确的使用方法应该是: df_out=df_out.append({'err':err,'predicted':corrected_sent,'target':cor}, ignore_index=True)...
2021-11-21 16:58:16
2292
1
原创 [Pandas] pd 报错TypeError: Can only append a dict if ignore_index=True
使用df.append()方法以dict形式添加数据时报错:TypeError: Can only append a dict if ignore_index=True通过报错信息,我们知道要求ignore_index=True,解决方案: df_out.append({'err':err,'predicted':corrected_sent,'target':cor},ignore_index=True)...
2021-11-21 16:43:23
6572
原创 [解决方案]Python安装 kenlm 报错
使用pip install kenlm 报错:python/kenlm.cpp:6381:13: error: ‘PyThreadState {aka struct _ts}’ has no member named ‘exc_traceback’; did you mean ‘curexc_traceback’?tstate->exc_traceback = *tb;^~~~~~~~~~~~~curexc_tracebackerror: command ‘gcc’ failed with
2021-11-20 23:45:01
1882
原创 [Notes] Pytorch中DDP(DistributedDataParallel)指定显卡/GPU运行的方式
先看看哪些卡空闲/可用,使用CUDA_VISIBLE_DEVICES屏蔽掉不可用的卡#自定义端口CUDA_VISIBLE_DEVICES="1,2,4,7" python -m torch.distributed.launch --nproc_per_node 4 --master_
2021-11-16 18:12:08
4107
原创 [解决方案]如何一次性关闭所有GPU/CUDA进程
在最近的模型并行化工程当中,异常退出之后会出现GPU进程挂起无法关闭的情况.报错RuntimeError: Address already in use网上的主流的方案是kill -9 PID等命令.可我有16个进程,这样一个个杀有些繁琐.查阅资料之后,在这里提供另外一种方法:$ kill $(ps aux | grep YOUR_TRAINING_SCRIPT.py | grep -v grep | awk '{print $2}')上述方法来来自于https://leimao.gith
2021-11-04 17:21:11
2822
2
原创 [Pytorch]DistributedDataParallel(DDP)报错 [enforce fail at inline_container.cc:145]和[222]
最近的并行化工作中,报错RuntimeError: [enforce fail at inline_container.cc:222]和 [enforce fail at inline_container.cc:145].经查,主要原因如下:1. 随机种子未统一: 根据手册,模型参数的seed只看主卡即可,按道理来说是会boradcast的. 但事实上,就是如此,推测是因为使用了一个非stable的新函数. 统一了随机数种子之后解决问题.2. 重复保存 低级错误,改动代码之后忘记作rank的
2021-10-31 14:10:05
1819
原创 [PyTorch]图解DistributedDataParallel (DDP)的通信方式:gather,all_gather,all_reduce,reduce,scatter
在DistributedDataParallel (DDP)中,PyTorch不仅提供了Point-to-point communication这样的底层通讯方式,也提供了gather,all_gather,all_reduce,reduce,scatter这样的经封装的通讯方式.但在文档中没有提供详细的说明.在查找资料的过程中,在一个tutorials找到了相应的图解,一目了然.文中图片与参数均来自官方doc与tutorials,本文仅作为个人笔记使用.故,其中一些细节会略去,有兴趣的朋友可以参考
2021-10-29 15:16:56
3790
原创 [个人笔记]torch.optim.lr_scheduler.ReduceLROnPlateau
最近需要使用torch.optim.lr_scheduler.ReduceLROnPlateau,但是没有看过相关论文,网上有很多相关的资料在threshold环节都很模糊.我对这个API主要有两个问题:应用ReduceLROnPlateau, 是如何改变学习率的(或者说,新的学习率是放在optimizer还是lr_scheduler里的)?threshold的"显著"到底指的是什么?下面贴上torch.optim.lr_scheduler.ReduceLROnPlateau的源代码,想直接看结
2021-10-27 19:55:07
5267
2
原创 [问题笔记]PyTorch使用tensorboard报错‘Tensor‘ object has no attribute ‘items‘
for tag, scalar_value in tag_scalar_dict.items():AttributeError: ‘Tensor’ object has no attribute ‘items’makefile:12: recipe for target ‘train’ failedmake: *** [train] Error 1问题出现原因:误将 writer.add_scalar写成 writer.add_scalars,这是两个不同的函数 def add_scala
2021-10-27 16:23:59
4903
原创 PyTorch如何获取当前的学习率Learning Rate(lr)
由于种种原因, 需要自己写一个lr_scheduler,目前主流的方法是从optimizer中获取,代码如下:optimizer.state_dict()['param_groups'][0]['lr']
2021-10-26 16:41:33
9754
1
转载 PyTorch中Adam的实现
import torchfrom . import _functional as Ffrom .optimizer import Optimizerclass Adam(Optimizer): r"""Implements Adam algorithm. It has been proposed in `Adam: A Method for Stochastic Optimization`_. The implementation of the L2 penalty fo
2021-10-26 13:22:49
2282
3
原创 买iPhone13选某多多百亿补贴还是官网免息?我用Python帮你算好了!
total=float(input('分期金额:'))date=int(input('分期月数:'))expectedRate=float(input('预计持有资金收益年利率:'))pddYouhui=float(input('补贴金额为:'))monthRate=expectedRate/12monthPay=total/datemonthPayIn=0totalIn=0print(f'每月应还{monthPay}')for i in range(date): total -=
2021-10-19 14:14:22
367
翻译 Pytorch中的checkPoint: torch.utils.checkpoint.checkpoint
torch.utils.checkpoint.checkpoint笔记,内容来源于官方手册仅作笔记只用,不完整之处请查阅官方手册https://pytorch.org/docs/stable/checkpoint.htmlcheckpoint是通过在backward期间为每个checkpoint段重新运行forward-pass segment来实现的。这可能会导致像 RNG 状态这样的持久状态比没有checkpoint的情况更先进。默认情况下，checkpoint包括处理 RNG 状态的逻辑，.
2021-10-09 20:56:51
3070
原创 [Pytorch] ValueError: sampler option is mutually exclusive with shuffle
踩坑记录:pytoroch利用DDP(DistributedDataParallel)进行单机多卡的训练时,提示:ValueError: sampler option is mutually exclusive with shuffle原因:使用了DistributedSampler,而在dataloader中,sampler和 shuffle不能同时为真.但由于模型确实需要使用shuffle,不能因为加快速度不管准确性了啊查阅文档,得知DistributedSampler中shuffle
2021-09-24 20:37:13
4797
3
原创 RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you
Pytorch报错:RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the ‘spawn’ start method问题背景:在dataloader中,使用了多线程处理数据,并且自定义了collate_func解决方案:如果不是特别大的消耗,可以取消调用该函数的cuda方法如果一定要使用,Python 3 支持进程之间共享 CU
2021-09-20 15:31:02
5377
1
原创 [pandas]报错No module named ‘openpyxl‘
使用pandas , 将csv转Ecexl xls文件报错No module named ‘openpyxl’需要额外安装xls库conda环境下可以用:conda install openpyxlbase环境下也可以用:pip install openpyxl
2021-09-19 17:18:04
1765
原创 [牛客笔记] NC38 螺旋矩阵金牌代码解析 Python
描述给定一个m x n大小的矩阵（m行，n列），按螺旋的顺序返回矩阵中的所有元素。示例1输入：[[1,2,3],[4,5,6],[7,8,9]]返回值：[1,2,3,6,9,8,7,4,5]分析：本题时间空间限制较为宽松，用模拟系统的直觉的方法来做也能AC。但排行第一的代码更为巧妙。
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人