- 博客(82)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Abstract must be defined before maketitle command. Please move it
最近在使用acmart-primary的sample-sigconf.tex模版时，编译文档总是会出现这个问题。sample-sigconf.tex 中的代码示例如下：\begin{document}\title{The Name of the Title is Hope}\author{Ben Trovato}...\begin{abstract}...\end{abstract}\begin{CCSXML}...\end{CCSXML}\cc...
2022-03-31 21:15:03
987
原创 深度学习基础知识
深度学习入门者必看：25个你一定要知道的概念如果你还不了解深度学习有多么强大，不妨就从这篇文章开始~https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247485927&idx=1&sn=606f87b569a0eb7c29f1c2374ff698dd&chksm=e8d3be95dfa43783ddbd577ce8cc7db64c1b02bb55480c1d3f2ba8e06e4b948d1fd6b8e2defc&
2021-12-05 15:47:51
1417
翻译 pytorch set_epoch()方法
在分布式模式下，需要在每个 epoch 开始时调用 set_epoch() 方法，然后再创建 DataLoader 迭代器，以使 shuffle操作能够在多个 epoch 中正常工作。 否则，dataloader迭代器产生的数据将始终使用相同的顺序。sampler = DistributedSampler(dataset) if is_distributed else Noneloader = DataLoader(dataset, shuffle=(sampl...
2021-11-25 10:45:02
8465
6
原创 pytorch中tensor进行reshape操作后原始数据的顺序
在pytorch中，经常需要对tensor进行reshape操作，使其符合特定网络的输入格式。在将网络的输出重新reshape回输入前的形状时，tensor的特征是否还是按输入的顺序进行排列？带着疑问做了下面的实验x1 = torch.randn(2, 3) x2 = torch.randn(2, 3) x3 = torch.randn(2, 3) x4 = torch.stack((x1, x2, x3), 0) shape = x4.shape print("x4:",
2021-11-19 14:47:29
3254
2
原创 python列表解析实例
1. if起条件判断作用，满足条件的，返回最终生成的列表[i for i in range(k) if condition][i for i in range(10) if i%2 == 0] [0, 2, 4, 6, 8]2.if...else用来赋值，满足条件的i以及exp生成最终的列表[i if condition else exp for exp][i if i == 0 else 100 for i in range(10)] [0, 100, ...
2021-10-28 09:45:15
177
原创 不使用anaconda安装pyembree
pyembree官方给出的安装方法是通过conda进行安装conda install -c conda-forge pyembree并没有pip的版本，想要安装pyembree就得先装anaconda，在docker里有点不方便。在github上查到可以通过.tar.gz文件进行手动安装首先将embree.bash中的内容保存到本地文件e.bash里，之后在命令行执行bash e.bash最后更新环境变量export LD_LIBRARY_PATH=/usr/loca.
2021-09-26 14:14:27
2207
3
原创 Dockerfile基础镜像选择
Dockerfile的最开始都是From xxx例如FROM nvidia/cuda:10.0-cudnn7-devel-ubuntu16.04其中10.0是指cuda的版本cudnn7指与cuda10.0对应的cudnn版本devel指镜像中的nvcc包包含cudaubuntu16.04指镜像中ubuntu的版本其中，除了ubuntu版本可以与本地不同之外，其余的都要和主机上的版本对应，否则运行docker将无法使用本地的GPU硬件。...
2021-09-11 21:32:58
1762
原创 cpp-5 : Depends: gcc-5-base (= 5.3.1-14ubuntu2) but 5.4.0-6ubuntu1~16.04.11 is to be installed
在5.4.0-6ubuntu1~16.04.11 : cpp-5 : amd64 : Xenial (16.04) : Ubuntu上下载对应的版本，国内源的版本都是5.4.0-6ubuntu1~16.04.12，最后一位是12，和服务器上的不匹配
2021-09-11 20:08:59
889
原创 Dockerfile安装python3.7
用Dockerfile构造镜像时需要用到python3.7，但是python默认安装的版本是3.5。需要手动安装python3.7 安装的主要代码如下：wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgztar -xvf Python-3.7.3.tgzcd Python-3.7.3./configure --enable-loadable-sqlite-extensionsmakemak...
2021-09-11 20:00:34
5036
原创 Dockerfile pip3 install cannot assign requested address
临时使用国内镜像可解决pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspider参考：PIP源使用国内镜像 - 吃饭了吗 - 博客园
2021-09-10 11:26:45
275
原创 Dockerfile unable to access ‘.git/‘: Failed to connect to gitlab.com
问题： 在命令行手动build一个dockerfile时无法连接到git。 Dockerfile中的系统和本地的不同，适用于本地的配置直接在Dockerfile中使用无效git config --global http.proxy 'http://172.31.xx.xx:808'git config --global https.proxy 'https://172.31.xx.xx:808' 在Dockerfile中使用ifconfig命令...
2021-09-10 10:51:25
1025
原创 Error response from daemon: manifest for nvidia/cuda:latest not found: manifest unknown: manifest
原因：The "latest" tag for CUDA, CUDAGL, and OPENGL images has been deprecated on NGC and Docker HubDocker Hub中的CUDA, CUDAGL和OPENGL镜像已经弃用"latest"标签，直接使用docker pull nvidia/cuda或者在Dockerfile中指定FROM nvidia/cuda:latest都会出现Error response...
2021-09-09 20:45:41
11427
2
原创 windows10 : wsl --set-version 2 Error: 0xffffffff
在windows上安装了Linux子系统，而且安装了wsl2更新，但是执行wsl --set-version Ubuntu 2时出现Error: 0xffffffff错误，导致无法更新到wsl2。后来查到是因为53端口被占用的原因，将占用端口的程序关掉之后更新成功。参考：https://www.cnblogs.com/ayanmw/p/14868526.htmlhttps://github.com/microsoft/WSL/issues/436...
2021-09-09 16:38:15
1620
原创 docker 保存镜像
因为服务器上无法联网下载docker镜像，所以在windows本地下载好对应的镜像再传到服务器上。 本地安装完docker后出现Failed to deploy distro docker-desktop错误，主要原因是WSL2，尝试了很多方法都没有解决。取消勾选docker-General-Use the WSL 2 base engine后能够正常启动docker。 本地下载完镜像之后先使用docker save -o target_loca...
2021-09-08 21:07:12
2051
原创 非root解决ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.26‘ not found
执行代码时出现题述问题执行下面的命令发现没有GLIBCXX_3.4.26对应的版本strings /home/app/anaconda3/lib/libstdc++.so.6 | grep GLIBCXX根据stackoverflow上的操作，在anaconda/lib下发现有GLIBCXX_3.4.26的版本strings /home/app/anaconda3/lib/libstdc++.so.6 | grep GLIBCXX再根据github上的回答，在./bas.
2021-09-08 11:17:56
6296
4
原创 Linux手动安装库出错
服务器上没有root权限，管理员用命令帮忙装的版本太低了，所以需要手动安装高版本的库但是装完之后发现lib目录下只有.cmake文件，没有.so文件问题在于cmake之后没有执行make就直接执行make install了。在cmake后执行make，再执行make install后安装正常cd $HOME/CGAL-5.3mkdir buildcd buildcmake ..
2021-09-04 12:26:07
288
原创 Could NOT find OpenSSL (missing: OPENSSL_LIBRARIES)
手动安装cmake，执行./bootstrap后出现标题所示错误提示，因为这一步出错，所以后面的步骤都无法继续进行一开始以为是服务器上没有装openssl，使用openssl version命令发现有对应的版本，但是路径没有include等文件夹接着手动安装openssl，并且设置临时系统变量export OPENSSL_ROOT_DIR=/data/lib/openssl-1.1.1kexport OPENSSL_INCLUDE_DIR=/data/lib/openssl-1.1.1k/i
2021-09-03 20:36:45
4190
翻译 Attention Rollout
问题陈述 从图1a中的原始attention可以看出，只有在最开始的几层，不同位置的attention模式有一些区别，但是更高层中的attention权重更加一致。这表示随着模型层数的增加，嵌入的内容变得更加情境化，可能都带有类似的信息。此外，另一篇文章中表示注意力权重不一定与输入token的相对重要性相对应。作者使用输入消融法，blank-out方法来估计每个输入token的重要性。Blank-out用UNK逐个替换输入中的每个token，衡量其对预测正...
2021-08-14 18:26:49
2917
原创 torch.autograd.variable
在PyTorch0.4.0之后Variable 已经被PyTroch弃用Variable不再是张量使用autograd的必要条件只需要将张量的requires_grad设为True该tensor就会自动支持autograd运算在新版的PyTorch中Variable(tensor)和Varialbe(tensor, requires_grad)还能继续使用，但是返回的是tensor，而不是VariableVariable.data的效果和tensor.data一样诸如Variable
2021-08-03 15:33:53
7037
翻译 pandas stack
堆叠一个DataFrame意味着将最内层的列索引移动为最内层的行索引。其逆运算叫做反叠加。图1 堆叠（stack）是什么?-如果我们有多个索引列，通过将最内层的列级别移动到最内层的行级别来减少数据集列。所以堆栈是将cols的索引变到rows(最里面的)。如图2所示，经过pt.stack()操作后marital_status从列索引变为行索引图2反叠加（unstack）是什么?-如果我们有多索引行，我们通过移动最内层的行级别...
2021-07-21 10:15:01
274
转载 1x1卷积笔记
1x1卷积定义 在深层卷积网络中，同一个卷积核用于提取通道内特征，不同的卷积核用于提取通道间特征，然后进行融合。1x1卷积用于通道间的信息提取，在Network in Network中被用于增加网络深度，从而增强网络的非线性表达能力。 如果一个输入特征平面的大小为N1xHxW，用N1xN2个1x1卷积，就可以将其映射到N2xHxW的特征平面。当N1<N2时，实现通道升维；当N1>N2时，实现通道降维。1x1卷积与瓶颈结构 “两头宽、中间...
2021-07-19 14:55:12
317
原创 kwargs.pop
pop(key[, default])if key is in the dictionary, remove it and return its value, else return default. If default is not given and key is not in the dictionary, aKeyErroris raised.
2021-06-14 19:41:14
1378
原创 ViT Patch Embedding理解
ViT(Vision Transformer)中的Patch Embedding用于将原始的2维图像转换成一系列的1维patch embeddings。输入图像的维度为
2021-06-11 17:06:43
41211
16
原创 科研踩坑指南
1. 和别人讨论的时候，别人的意见只能当作参考，不要妄想依赖别人，包括自己的老师，因为他们大多都没做过你的方向（如果是同一领域的另当别论）。重要的是自己去思考，xun'zh
2021-06-07 15:49:51
149
原创 分类问题 测试时混淆矩阵出现nan错误
执行时clip_length设为64，但是模型训练时是按照clip_length = 16训练的这样导致最后计算准确率时一大半都是0，出现除零错误将测试时的clip_length设为16后解决
2021-04-27 14:54:53
1149
原创 Linux 下配置了代理服务器使用pip, conda下载时出现proxy错误
问题描述：Linux本地配置了~/.bashrc文件142 export http_proxy="http://xxx.xx.xx.xx:808"143 export https_proxy="https://xxx.xx.70.xx:808"但是使用pip和conda安装库时依然出现类似proxy error的错误解决方法：pip:在pip配置文件~/.config/pip/pip.conf中添加[global]proxy = http://XXXX.com:p
2021-04-20 11:09:18
1372
原创 vs code连接服务器卡在Downloading with wget
原因：vs code更新后需要重新在服务器上安装对应的新版本，下载新版本时由于无法连接外网，导致一直卡在Downloading with get阶段解决方法:在能上外网的电脑上手动下载，将commit:后的代码更改为vs code中显示的代码https://update.code.visualstudio.com/commit:2213894ea0415ee8c85c5eea0d0ff81ecc191529/server-linux-x64/stable将下载好的文件复制到服务器.
2021-04-11 14:04:06
7192
6
原创 PyCharm远程Linux服务器出现Could not load dynamic library ‘libcusolver.so.10.0‘错误
问题描述：Linux服务器上和本地的代码相同，本地使用Linux编译器Linux上可以正常运行，而本地出现Could not load dynamic library 'libcusolver.so.10.0'等无法加载库的问题解决方法：打开PyCharm中Run->Edit Configurations在Environment variables变量中添加LD_LIBRARY_PATH为Linux中存储cuda库的目录/usr/local/cuda-10.0/lib.
2021-03-25 12:47:57
1689
4
原创 linux在命令行执行bash命令出现permission denied
将bash文件的权限修改为777chmod 777 bash_file.sh参考:https://blog.youkuaiyun.com/weixin_39523998/article/details/78528990
2021-03-24 17:02:01
2707
原创 坑爹的numpy.multiply
numpy.multiply(a, b)是将a, b中对应元素相乘，而不是进行矩阵乘法，相当于a*b如果a和b的维度不同，则会将维度小的广播到和维度大的一致，再相乘。numpy中的矩阵乘法是numpy.dot()参考:https://blog.youkuaiyun.com/qq_18433441/article/details/54868889https://www.cnblogs.com/ssyfj/p/12913015.html...
2021-03-23 20:58:06
311
原创 查看nvidia gpu共享内存大小
在 linux 上使用locate deviceQuery命令找到使用cuda预实现的sample程序deviceQuery在命令行执行/home/amax/NVIDIA_CUDA-10.0_Samples/bin/x86_64/linux/release/deviceQuery 查看GPU的详细信息参考：https://blog.youkuaiyun.com/weixin_40005329/article/details/106853783...
2021-03-22 08:32:10
4421
原创 top-1, top-5准确率
top-N正确率指的是图像识别算法给出前N个答案中有一个是正确的概率参考:《Tensorflow: 实战Google深度学习框架》
2021-03-17 14:48:20
527
原创 vs code ssh登录linux服务器后，终端显示sh
参考https://www.cnblogs.com/kasader/p/12767882.html修改vscode默认Shell，将sh改为bash后终端能够显示用户名@服务器ip
2021-03-14 16:42:38
2346
1
原创 self-attention理解
在一篇讲解S3D的文章中，文章作者提到论文“在每个3x1x1卷积后加入了Self-attention模块”其公式如下公式代表的意思是“只是个普通的时空attention模块，将feature map中所有channels进行平均池化，然后进行线性映射和非线性激活，来产生时空attention map，最后权值叠加回去原feature map”其中，X表示输入attention模块的feature mappool(X)表示将feature map中所有channels进行平均池化W
2021-03-06 15:02:05
489
原创 RuntimeError: Expected object of backend CPU but got backend CUDA for argument #2 ‘weight‘
出现该错误时，提示错误位置在File "network_pytorch.py", line 99, in forward x = self.conv(x) # wronged表示输入的是CPU类型的变量，但是权重是CUDA类型的，即网络和输入不在同一设备上但是，在输入网络之前，输入已经按照input = torch.randn([20, 16, 8, 1, 81920])input.cuda()转到GPU上了在https://www.jianshu.com/p/b6e
2021-02-22 15:36:54
524
原创 动态查看GPU显存
在Linux中可以使用watch -n 0.1 nvidia-smi命令来动态查看GPU中的显存消耗情况watch命令的用法可以看这里
2021-02-03 13:58:54
1444
原创 RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED
https://blog.youkuaiyun.com/qq_39938666/article/details/86611474https://blog.youkuaiyun.com/weixin_39466251/article/details/101789574?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_rele
2021-02-02 09:30:07
432
原创 matlab parfor使用
最近要使用matlab对数据集进行处理，由于数据集很大，matlab串行处理效率很低。在网上查到可以使用parfor循环代替原本的for循环来实现matlab中的并行循环。parfor要求循环中的数据没有上下依赖，每个循环之间相互独立，这样才能在多个处理器上运行并行任务。在使用parfor时，总是出现各种问题，最后直接用parpool启动matlab并行计算，把原来for循环中的内容单独放到一个函数中，在parpool中间调用，成功实现并行处理但是这样做，每次都要重新开启和关闭进程池，.
2020-12-24 10:36:04
5659
具有图形界面的Java记事本程序
2017-03-30
Java具有图形界面的记事本程序
2017-03-30
CUDA矩阵加法块、线程与数组间的理解
2017-03-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人