
Linux
Answerlzd
本博客作为个人的学习笔记,转载时已进行注明,若擅自转载了前辈博客,还请联系本人进行删除。
展开
-
linux conda 复制虚拟环境
自己配的环境老是跑不起来,所以想着把别人能跑的环境copy过来。做法如下:如果需要在具有 相同操作系统 的计算机之间复制环境,则可以生成 spec list。生成spec list 文件:conda list --explicit > spec-list.txt重现环境:conda create --name python-course --file spec-list.txt来自:吕星林师兄...原创 2021-10-29 16:09:32 · 4009 阅读 · 0 评论 -
linux 按字符串分割文件 sed awk
例如文件的内容是这样的:Please rise , then , for this minute ' s silence . ||| Please rise , then , for this minute , silence . ||| 0 1 2 3 4 5 6 7 -1 10 11( The House rose and observed a minute ' s silence ) ||| ( he listened and observed a minute ' s silence ) |原创 2021-07-21 09:37:04 · 2152 阅读 · 0 评论 -
linux .bashrc文件配置
有时候配置linux虚拟环境时总是不小心改动已经配置好的.bashrc文件。为了防止系统自动变动之后能恢复原来的版本,特此记录一下当前能够正常使用的.bashrc文件内容# .bashrc# Source global definitionsif [ -f /etc/bashrc ]; then . /etc/bashrcfi# Uncomment the following line if you don't like systemctl's auto-paging原创 2021-02-04 15:16:44 · 1597 阅读 · 0 评论 -
Git常用命令:初始化,提交,撤销修改
转自:https://blog.youkuaiyun.com/weixin_39564277/article/details/91349345记录一下常用命令:2.$ git config --global user.name “Your Name” 配置git用户信息$ git config --global user.email “email@example.com” 配置git用户信息3.$ git init 初始化仓库4.$ git add readme.txt 添加到暂存区5.$ git c转载 2020-12-06 16:59:38 · 330 阅读 · 0 评论 -
$‘\r‘: command not found 或者 vim去掉^M字符 (四种方法 )
这两种现象其实对应同一种问题:在windows下编辑的文件放到linux上执行时会出现这个问题。例如,有一个test.sh文件,通过vim直接打开时看到的是这样的:发现并没有什么问题。其实应该通过vim -b test.sh打开,这样看到的就是本来面目了。vim -b test.sh所以方法一、把^M删掉就可以了。按i进入编辑模式,删除即可。 如果^M太多,可以使用查找替换命令,vim打开文件然后:%s/^M//g注意这个^M不是看到...原创 2020-12-05 17:48:12 · 2077 阅读 · 1 评论 -
linux 找出出现在A文件中,但是不在B文件中的行
假设有两个文件A和B,需要找到A中出现过的且B中没出现的行,并保存到C文件中。cat A B B | sort | uniq -u > C主要涉及uniq命令的使用uniq --h原创 2020-11-24 14:21:50 · 4671 阅读 · 0 评论 -
vim 命令插入、删除、查询、替换操作。
转自:https://www.cnblogs.com/woshimrf/p/vim.html这里记录一下,做笔记查阅。使用vim编辑文件:vim filename进入之后的界面叫做命令模式界面。可以修改文件编辑的时候叫做插入模式。(插入模式)编辑模式以下按键进入编辑插入模式a //在当前光标位置的右边添加文本i //在当前光标位置的左边添加文本A //在当前行的末尾位置添加文本I //在当前行的开始处添加文本(非空字符的行首)..转载 2020-11-12 09:46:44 · 6468 阅读 · 0 评论 -
linux 在文件的每一行后面添加特殊字符
sed 's/$/ ||| /g' test.en > test.tok.en原创 2020-11-10 14:33:53 · 5100 阅读 · 0 评论 -
linux去除文件中的标点符号,大小写转换
去除标点:cat train.en | sed 's/[[:punct:]]//g' > train.clean.en大写转小写:cat train.en | tr A-Z a-z > train.lower.en同样可以小写转大写。两个空格合并为一个空格:cat train.en | sed 's/ / /g' > train.clean.en这三个操作可以放在一起:cat train.en | sed 's/[[:punct:]]...原创 2020-11-10 14:30:49 · 2039 阅读 · 0 评论 -
RuntimeError: Address already in use
Pytorch用多张GPU训练时,会报地址已被占用的错误。其实是端口号冲突了。因此解决方法要么kill原来的进程,要么修改端口号。在代码里重新配置torch.distributed.init_process_group() dist_init_method = 'tcp://{master_ip}:{master_port}'.format(master_ip='127.0.0.1', master_port='10000') dist_world_..原创 2020-10-26 09:30:32 · 7906 阅读 · 0 评论 -
RuntimeError: cuda runtime error (35) : CUDA driver version is insufficient
报错原因:服务器CUDA版本和自己装pytorch 的cuda版本不一致。所以修改自己pytorch的cuda版本。查看服务器的cuda版本:nvcc -V查看自己装pytorch的cuda版本:pythonimport torchtorch.version.cuda原创 2020-10-22 11:05:45 · 3252 阅读 · 0 评论 -
LINUX命令后面的>/DEV/NULL 和 2>&1
原文地址:http://blog.youkuaiyun.com/adam040606/article/details/46778321>/dev/null 输出到空设备,表示丢掉输出信息。 2 > &1 将输出到标准错误的信息输出到标准输出设备(通常是屏幕) 有3个默认的i/o, 0是标准输入,一般是键盘 1是标准输出,一般是屏幕了 2是标准错误,有时候屏幕上可以看到,但是重定向的文件中看不到的就是它了例子:$perl shuffle.pl text1.t...转载 2020-08-28 10:30:04 · 350 阅读 · 0 评论 -
linux命令对文件操作 每隔固定行抽取一行
需求:有一个很大的文件想要每隔一定的行数,抽取出一行。经常应用于将文件拆成训练集和开发集。 awk '{if (NR%1333 == 0) print $0; }' train.all > valid.en awk '{if (NR%1333 != 0) print $0; }' train.all > train.en注:这里是每隔1333行就抽取一条数据作为valid.en文件的内容,可以根据需要进行修改。...原创 2020-08-18 23:25:42 · 5342 阅读 · 4 评论 -
linux虚拟环境安装tensorflow1.0.0-gpu
为了跑一个tensorflow的程序,需要安装1.0版本的tensorflow。然后就要安装cuda8.0、cudnn5.0和python3.6。因为其他版本的老是报错。我已经安装好cuda8.0和cudnn5.0,所以你们可以直接下载下来(链接:),然后放在一个目录下,再修改下.bashrc就可以了。具体要放哪个目录,怎么修改.bashrc下面都会提到。1.首先创建一个虚拟环境conda create -n tf1.0 python=3.62.进入这个环境source activ原创 2020-08-01 10:04:02 · 1379 阅读 · 0 评论 -
各个版本的tensorflow和python, cuda,cudnn对应的版本
官方链接:https://tensorflow.google.cn/install/source打开之后,拉到最下面。原创 2020-08-01 08:52:43 · 732 阅读 · 0 评论 -
Couldn‘t open CUDA library libcudnn.so.5 LD_LIBRARY_PATH: /usr/.................
自己的报错忘记截图了,网上盗一张吧。。。错误原因:在相应的目录下没有找到 libcudnn.so描述下我遇到的问题:因为服务器的cuda版本是9.0,而我找到的一套代码用的是8.0。因此我需要在自己本地下安装一个cuda8.0,安装教程我参考的是这篇博客:https://blog.youkuaiyun.com/cheneykl/article/details/85785558。一定要严格按照博客中的内容,我就是因为少加了一行代码在.bashrc报错了。装完cuda8.0之后就遇到上图的问题了。解决方原创 2020-07-31 10:46:52 · 483 阅读 · 0 评论 -
lsf系统查看程序显存占用情况(超算)
目前只知道需要3条命令查看显存,如果哪位大佬知道只要一条命令就可以,欢迎指点。好,开始正文。查看程序占用的显存主要分为三步:找到自己的进程id 根据id找到那台服务器(结点),服务器(结点)上会记录第几块卡 根据服务器结点和卡的编号查看显存占用举个例子:找到自己的进程idbjobs -w可以看出进程号是:581702.根据id找到那台服务器(结点),服务器(结点)上会记录第几块卡bjobs -l 58170找到 r1cmpsrvs79-14ig0602:.原创 2020-07-28 16:54:19 · 2774 阅读 · 1 评论 -
VIM编译器的使用(详解)
https://blog.youkuaiyun.com/qq_42935487/article/details/88734244转载 2020-04-28 21:05:00 · 272 阅读 · 0 评论 -
linux 常用命令 ps (process status)
记录一下,参考了下面两篇博客:https://blog.youkuaiyun.com/freeking101/article/details/53444530https://blog.youkuaiyun.com/u011441473/article/details/80555694Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进...转载 2020-04-26 11:54:08 · 641 阅读 · 0 评论 -
切换结点运行报错RuntimeError: CUDA error: unknown error
在07可以运行程序,但是到了08结点就会报错,报错如下:解决方案:删除 ~/.nv/ 下的所有内容(找了半天还是东钦师兄帮忙解决了,感谢师兄!):rm -rf ~/.nv/*...原创 2020-08-03 11:20:50 · 973 阅读 · 0 评论 -
服务器上调试程序 pdb命令调试
以前写python一直用pycharm,调试啥的比较方便,最近要在远程服务器上调试一些程序,只有一个控制台就可以用pdb进行调试了。常用的只有几个命令。break 或 b 设置断点 continue 或 c 继续执行程序 list 或 l 查看当前行的代码段 step 或 s ...转载 2020-01-23 19:59:15 · 1023 阅读 · 0 评论 -
PuTTY连接ubuntu报错:Connection refused
可能是服务器没有安装openssh-serverUbuntu下安装openssh-server命令:$ sudo apt-get install openssh-server安装界面:安装完成之后重新连接Ubuntu:点击open之后输入用户名+盲打输入密码:连接成功!...原创 2019-09-06 10:22:55 · 1000 阅读 · 0 评论 -
Linux 查看文件内容命令(cat、more、grep)
快速导读:序号 命令 对应英文 功能 01 cat 文件名 concatenate 查看文件内容、创建文件、合并文件、追加文件内容 02 more 文件名 more 根据窗口大小,一页一页显示文件内容 03 grep 搜索文本 文件名 global search regular expression(RE...原创 2019-08-29 19:20:42 · 2317 阅读 · 0 评论 -
Linux cd命令——切换目录
一、cdcd是单词change directory的缩写,其作用是改变当前的工作目录,是用户最常用的命令之一。命令 含义 cd 切换到当前用户的主目录(/home/用户目录) cd ~ 切换到当前用户的主目录(/home/用户目录) cd . 保持在当前目录不变 cd .. 切换到上级目录 cd - 可以在最近两次工作目录之...原创 2019-08-28 12:20:10 · 3648 阅读 · 0 评论