- 博客(44)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 RuntimeError: unsupported output type: int, from operator: xformers::efficient_attention_forward
模型转trace时， 报错, 排查原因是在模型内部使用了, 更换了几个版本的xformer都没搞定， 最后通过替换这个方法绕过了这个问题， 虽然显存会增加一些， 但是起码能把模型转trace成功。
2025-01-08 00:25:37
350
原创 Linux jupyter notebook Matplotlib 无法显示汉字
使用matplotlib画图时， 无法显示汉字， 显示出来一堆方框。
2024-12-31 10:36:17
499
原创 ModuleNotFoundError: No module named ‘distutils.command.register‘
No module named 'distutils.command.register'
2024-11-28 14:12:24
369
原创 服务器重启后 ImportError: libffi.so.7: cannot open shared object file: No such file or directory
发现so文件版本不一样。
2024-07-18 16:49:45
357
1
原创 LLM预测训练集数据重复、长度超出label
遇到一个场景， 拿几条数据用LORA微调了LLM， 根据Loss看已经接近了0， 但是拿训练集里的数据预测时 ，不管怎么调节generate的参数， 预测结果总是不对， 有整段话重复生成的结果， 有不重复生成， 但是生成的结果超出了label的长度。经过排查， 原因是训练集构造的时候， 句子的结束符被attention mask掉了， 故模型在计算损失的时候， 虽然Loss为0， 但是这个loss是只计算了attention mask部分的Loss， 下述为错误代码。
2024-03-23 16:23:11
556
原创 Deepspeed 环境参数分享
1. 使用conda安装的cuda和cudnn虽然可以跑一般的训练， 但是使用deepspeed框架时还是会报一些奇怪的错误， 比如：Error building extension 'cpu_adam'，Deepspeed环境对torch, CUDA和CUDNN比较敏感， 如果不匹配会遇到很多奇怪问题， 下边分享一个经过验证的环境。链接: https://pan.baidu.com/s/1TbwfNNUKd1l0AMsM-XGiVA 提取码: aw5e。
2024-03-21 11:33:56
906
原创 python 统计列表元素在各个区间的比例
python 统计列表元素在各个区间的比例有一个列表， 需要统计列表中各个区间元素所占的比例或者总数。
2024-03-07 11:39:07
1200
原创 AttributeError: module ‘torchtext‘ has no attribute ‘legacy‘
【代码】AttributeError: module ‘torchtext‘ has no attribute ‘legacy‘
2024-03-06 16:53:24
894
1
原创 ValueError: The length of the pixel data in the dataset doesn’t match the expected length 已解决
读取文件报错时，百度别人说加上这句就好， 确实当时解决了问题， 但后续没想到会导致别的问题， 这句意思是在。这个属性的时候， 给赋默认值， 这个属性标识。去读取数据, 关于该属性的值对应的意思详见。, 那么使用如下代码判断文件是否被压缩。这行错误的问题， 以前使用。是否被压缩， 应该使用什么。
2023-11-06 18:15:43
659
原创 pydicom读取CT值和SimpleITK读取数据结果不一致
pydicom读取CT值和SimpleITK读取数据结果不一致; pydicom读取的HU值不对;
2023-10-07 16:32:15
423
2
原创 medpy AttributeError: module ‘numpy‘ has no attribute ‘bool‘.
使用medpy计算HD距离时， 报错AttributeError: module 'numpy' has no attribute 'bool'.
2023-07-19 14:01:35
918
原创 Could not load dynamic library ‘libcudnn.so.7‘；
Could not load dynamic library 'libcudnn.so.7';cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.0/lib64
2023-06-17 18:06:19
312
原创 SimpleITK 获取CT spacing 底层原理
simpleITK.GetSpacing() 底层原理pydicom 获取CT数据层厚simpleTIK和pydicom获取的层厚不一致
2023-03-02 14:42:30
1709
2
原创 nnDetection框架Mirror解析
框架源码中Mirror部分进行详细解析，其余部分详细解析请看博主其他文章内容，基本上每个用到的方法都进行了单独解析，请使用ctrl + f 搜索查看。进行同步镜像操作， 如下部分详细分析了镜像流程，作者利用矩阵乘法的形式快速将所有points进行镜像的思路很优雅，值得学习。进行镜像操作以及将预测。
2023-01-31 14:48:47
530
3
原创 nnDetection复现Luna16 附模型
淘论文发现nnDetection框架对肺结节的检测效果挺好，便跑了跑复现了下， 作者诚不欺人，确实挺好， 并附上我依据文档训练的模型。
2022-12-01 23:50:58
2191
30
原创 cp: cannot stat ‘xxx.dcm‘: No such file or directory
linux cp 拷贝软链接文件cp: cannot stat 'xxx.dcm': No such file or directorypython 拷贝软链接所对应的linux源文件
2022-08-30 19:42:54
2938
原创 matplotlib.pyplot.subplots 取消坐标轴显示
matplotlib.pyplot.subplots 取消坐标轴显示plt.subplots 取消坐标轴
2022-08-22 14:16:54
4254
原创 U2Net 源码解析
U2Net是由块拼接而成的U形网络，类似UNet的架构，每个块内部本身又是一个U形网络，且加入了残差块，接下来先不用把关注点放在具体的RSU内部是如何实现的，先按数据流向以及X的shape变化走一遍网络，以认识到模型是如何运作的，之后会详细解释模型内部细节。.........
2022-07-15 13:38:57
1528
原创 sh: gpustat: command not found
问题描述：使用如下命令监控GPU使用情况时， 报错：sh: gpustat: command not found watch --color -n1 gpustat -cpu --color解决办法：gpustat 是 python的一个包， 只需要使用 pip install 即可 pip install gpustat!!! 如若安装完后有如下警告：Installing collected packages: nvidia-ml-py3, blessings, gpust
2022-03-25 14:09:13
4916
原创 RTX5000安装显卡驱动 CUDA9.0 CUDNN
Linux Ubuntu16.0.4 | Ubuntu17.04，显卡：RTX5000，安装CUDA9.0，或者高显卡驱动安装低版本CUDA
2021-11-23 11:52:57
7835
3
原创 RuntimeError: storage has wrong size | Unable to load weights from pytorch checkpoint file
报错1: RuntimeError: storage has wrong size: expected 768 got 2359296报错2: Unable to load weights from pytorch checkpoint file报错场景: 使用torch.nn.parallel.DistributedDataParallel进行单机多卡模型训练, 保存的bert模型在读取的时候报上述错误, 原因是保存模型的时候使用多线程保存, 猜想是多卡同时写入, 文件在保存过程中出了问题解决
2021-11-05 18:17:58
2491
原创 多数组全排列
问题：有N个数组，每个数组中都有不同个数的元素， 现需要在每一个数组中随机选一个元素和其它元素之间之间组合， 每个数组中都需选一个，例如 li = [['a', 'b'], ['1', '2'], ['x', 'y', 'z']], 使用算法做一个全排列li = [['a', 'b'], ['1', '2'], ['x', 'y', 'z']]end = len(li)result = []path = []# 暴力回溯算法def backtracking(index): if i
2021-10-11 18:33:18
278
原创 Mac Postman response显示汉字
调试环境：客户端： Posstman服务器：python 接口场景：使用postman发送post请求给服务器后， 服务器端经过json.dumps()处理完对象后，在postman中显示汉字为Unicode编码， 想显示成汉字， 方便调试解决办法如下图所示， 在Response工具栏中选中JSON格式即可...
2021-09-26 16:59:07
940
原创 import mtcnn cannot import name ‘get_config’ from ‘tensorflow.python.eager.context’
import mtcnn 报错ImportError: cannot import name ‘get_config’ from 'tensorflow.python.eager.context’环境: tensorflow2.2, tensorflow2.3, mtcnn0.1.0>>> import mtcnnD:\anaconda\lib\site-packages\numpy\_distributor_init.py:30: UserWarning: loaded more
2021-05-25 16:29:40
21198
7
原创 python图像三维数组通透理解
python图像三维数组通透理解先说结果: 一张图片的颜色是由RGB三个通道构成, 可以把一张图片上的每一个像素点看成一个对象, 这个对象又由RGB三种颜色叠加, 即用一个一维数组表示,假如我们有一张 m * n 个像素点的图片, 那么每一行有 n 个像素, 即每一行有 n 个一维数组, 即这一行是一个二维数组, 那一张图片又有 m 行, 那么我们就得到了 m 个二维数组, 这m 个二维数组构成了一个三维数组以下图为例:红色代表 R 通道亮度值, 绿色代表 G 通道亮度值, 蓝色代表 B 通道亮度值
2021-05-12 21:43:04
4589
7
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人