图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖

git clone报错

转载https://blog.youkuaiyun.com/cloudeagle_bupt/article/details/26014381转载内容EI 检索网址:http://www.engineeringvillage.com/search/quick.url?acw=&utt=9d6-37a195e1a410b2f4c2230a7630b0f0a6dc0-J1kSCI 检索网址:http://apps.webofknowledge.com/UA_GeneralSearch_input.do..

转载https://blog.youkuaiyun.com/u011365716/article/details/94358125重点可参考https://www.zhihu.com/question/331936923 昨天看到了一篇文章，关于字节跳动开源分布式训练框架BytePS，字节跳动作为今日头条，抖音，西瓜视频等的母公司，凭借其在人

转载https://blog.youkuaiyun.com/yingwei13mei/article/details/89301953 深度学习的高性能计算技术介绍在过去

转载 https://blog.youkuaiyun.com/liangwqi/article/details/102726010重点参考https://blog.youkuaiyun.com/cyh_24/article/details/50545780https://blog.youkuaiyun.com/oppo62258801/article/details/79537035

转载https://blog.youkuaiyun.com/qq_41453285/article/details/86593566吞吐量=单位时间内的发送量=字节*8bit/时间段信道利用率=吞吐量/带宽 一、带宽1.概念：数据带宽是正在使用的数据传输速率的同义词，定义了一个数据链路的最大容量例如一个10Mbps的铜线局域网不能承受速率

转载 https://blog.youkuaiyun.com/liangdaojun/article/details/100011356 文章序列 分布式机器学习（一）之总体概述 分布式机器学习（二）之数据划分 分布式机器学习（三）之模型划分 分布式机器学习（四）之节点通讯 文章目录

目录前言Linux 基础操作系统什么是 LinuxLinux 系统内核与 Linux 发行套件的区别Linux 对比 WindowsLinux 系统种类终端连接阿里云服务器ShellShell 的种类命令命令行提示符命令格式快捷方式文件和目录文件的组织查看路径浏览和切换目录浏览和创建文件文件的复制和移动文件的删除和链接用户与权限用户群组的管理文件权限管理查找文件locatefind软件仓库

目录1、简介2、方法1、简介最近发现服务器根目录下有好多cuda版本，因为内存不足等原因需删除一些cuda，因此需要先将动态链接库转为之前的版本，而后删除相关文件2、方法刚开始文件存储df -hl先查看文件所在位置在/usr/localnvcc -V发现是11.4操作：先删除之前旧的，而后建立新的rm -rf /usr/local/cudasudo ln -s /usr/local/cuda-10.2 /usr/local/cuda

目录1、简介2、查看3、参考Ubuntu Linux 系统实时监控 GPU 显卡温度的方法1、简介发现服务器重启现象，于是开始观察是否是服务器上运行程序太多导致显卡温度过高，尤其达到临界值系统自动重启而非中断程序。。。2、查看查看显卡情况nvidia-smi查看每个显卡当前温度和极限温度邻近值（发现v100在90度重启，p100在85度重启）nvidia-smi -q -d TEMPERATURE实时监控显卡使用情况和温度gpus...

1、简介linux常见命令使用2、使用1）查看每个用户存储空间df -hlsudo du -sh /home/*2）查看正在运行的python代码ps -ef | grep python3）查看当前gpu使用情况gpustat -invidia-smi3、参考『Linux笔记』查看磁盘空间大小和所有用户各自占用空间Linux查询正在运行的python程序...

目录1、问题2、解决3、参考1、问题最近使用vscode远程连接服务器的时候突然报错[10:31:38.186] Spawned 21792[10:31:38.308] > local-server-1> Spawned ssh, pid=19956[10:31:38.360] stderr> OpenSSH_8.4p1, OpenSSL 1.1.1h 22 Sep 2020[10:31:38.616] stderr> /bin/sh: line

目录1、简介2、使用nvidia-smigpustat -i3、参考1、简介一台服务器毕竟很多人都在用，这个时候查看GPU状态显得尤为重要（查看剩余显存大小，以便自己能否使用这块卡）2、使用后来查找发现有2种方式，最开始我用的就是第一种，但是显然不是很好用，最后发现gpustat超级好用，下面分别介绍两种用法nvidia-sminvidia-smi是 Nvidia 显卡命令行管理套件，基于 NVML 库，旨在管理和监控 Nvidia GPU 设备。下面是

目录1、动机2、使用top查看大进程ll /proc/PID 查看运行的程序ps -eo pid,lstart,etime | grep PID 查看进程+启动时间+运行时间kill -9 PID 杀死进程(立即执行)1、动机最近发现服务器及其的卡顿，于是开始研究到底咋回事，无非就是cpu内存不足或者gpu资源不足导致的，中间也有可能出现内存泄露的问题，无论是哪一种，都可以通过top这个命令查看。什么是内存泄露内存泄漏也称作"存储渗漏"，用动态存储分配函数动态开.

目录简介服务器型号操作系统查看当前操作系统发行版信息查看操作系统发行版详细信息CPU查看CPU统计信息 lscpu查看CPU内核+型号cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c查看物理CPU个数查看每个物理CPU中core的个数(即核数)查看逻辑CPU的个数内存查看内存信息查看概要内存使用情况free -g自动选择以适合理解的容量单位显示 free -h查看内存硬件信息查看..

遇到这个问题一脸懵，查找后完美解决import os # 一定要有这个设定，要不然报错，也生成不了图os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"参考

目录1问题2解决1）兼容3.4.222）恢复3 参考1问题目前还不清楚是不是因为我自己在conda环境下pip安装了一些包，导致环境出的问题还是什么，目前就是出现各种缺少报错ImportError: /lib64/libstdc++.so.6: version `GLIBCXX_xxx‘ not found（目前紫荆发现了不同版本的三个了）。万万没想到吧，一个环境下的gcc库解决了，别的虚拟环境崩溃了，报错ImportError: dlopen: cannot load an

由于使用官网下载安装一些包极其缓慢，有时候清华镜像也不稳定，于是尝试在暗转给的时候指定阿里云镜像（没有去配置镜像）问题解决pip install torch==1.4.0 -i https://mirrors.aliyun.com/pypi/simple/...

1、问题2、解决包地址pip install spacy离线下载包安装，下面是cd到存放包的位置进行安装pip install en_core_web_sm-2.0.0.tar.gz 本人解决如下3、参考https://blog.youkuaiyun.com/m0_45478865/article/details/109334177https://blog.youkuaiyun.com/anshiquanshu/article/details/111941917...

1、报错最开始的安装方法pip install torchtext2、解决pip install torchtext -i https://pypi.douban.com/simple/

这个错误其实我没真正的搞明白最开始我的执行命令是python3 entity_classify_mb.py -d aifb --testing --gpu 0 --fanout=8报错后我改成了，成功 python3 entity_classify_mb.py -d aifb --testing --fanout=8同时发现一些不错的文章https://blog.youkuaiyun.com/qq_39852676/article/details/105607849htt

1、错误这种错误就是虚拟环境下版本高，但是系统下的版本达不到虚拟环境下的版本，因此需要我们将虚拟环境下的更新复制到系统下ImportError: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.22' not found (required by /home/lj/anaconda3/envs/dgl/lib/python3.6/site-packages/scipy/fft/_pocketfft/pypocketfft.cpython-36m-x86_64

1、错误ImportError: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.21' not found (required by /home/lj/anac onda3/envs/dgl/lib/python3.6/site-packages/s

1、错误OSError: /lib64/libc.so.6: version `GLIBC_2.18' not found (required by /lib64/libstdc++.so.6)2、解决yum install gcc#已有的情况下不需要安装cd softwarewget http://ftp.gnu.org/gnu/glibc/glibc-2.18.tar.gztar zxf glibc-2.18.tar.gz cd glibc-2.18/mkdir build

根据官方文档，按照在线安装教程，总是或多或少出现各种bug，让人很是着急，刚开始搜资料也没找到什么方案，感觉尝试后依旧无效，自我放弃后，现在找到万能解决方案！那就是离线安装吧！绝对安装不会出问题，但是一定要注意torch cudatorch_scatter等相关包版本的对应关系，拿torch1.6举栗子第一步：根据torch 和cuda对应关系安装（本人安装的是torch1.6 +cuda10.2）下面两个文件（下载位置）第二步：基于第一步，加上自己安装的python版本，安装下面4个文件.

之前不晓得为啥，pytorch在线安装死活安装不上，后来找到了一篇文章，发现尝试后真的下载安装也就10来分钟conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_chann

转载 https://blog.youkuaiyun.com/weixin_42167468/article/details/90720414还可参考https://blog.youkuaiyun.com/sjzs5590/article/details/8254527

整理自https://blog.youkuaiyun.com/u011435933/article/details/104434104 最近继续研究tensorflow，本打算后续上gpu版本的，但是运行demo过程中，实在太慢受不了了，就研究装了一下gpu版本，现在把具体方法记录如下：一、安装条件可以参考tensorflow官网需求https

转载https://blog.youkuaiyun.com/dcrmg/article/details/78146797 Linux查看显卡信息：lspci | grep -i vga使用nvidia GPU可以：lspci | grep -i nvidia前边的序号 "00:0f.0"是显卡的代号(这里是用的虚拟机);查看指定显卡的详细信息用以下

1、通过跳板机连接服务器：方法1-一步步设置1）打开实验室VPN2.）连接跳板机：ssh -p 端口 用户名@ip　　输入跳板机密码3.）连接内网：ssh 内网用户名@ip　　输入内网账号密码方法2-用xshell直接设置脚本登录更方便：https://blog.youkuaiyun.com/a295567172/article/details/774539562、通过跳板机传输文件：方法1-使用winscp根据https://blog.youkuaiyun.com/shengqianf

跳板机定义是一类可作为跳板批量操作远程设备的网络设备，是系统管理员或运维人员常用的操作平台之一。跳板机原理和工作实现 可参考转载https://www.cnblogs.com/200911/p/4310203.html参考https://www.zhihu.com/question/210365111.问题第一、很多大公司的服务器都不允许直接登录，而是通过一个跳板机才能登录过去。在跳板机中，通常只能执行几个少数命令(如SSH)，而其他命令是不允许执行的，那么怎样才能实...

转载 https://blog.youkuaiyun.com/leviopku/article/details/84548816 anaconda是十分方便的python全家桶，除此之外，anaconda还可以创建出python虚拟环境。可以说是十分强大了。之前，我整理了一篇关于pip创建虚拟环境的博文：《pip建立虚拟环境》当然，学会pip建

转载https://blog.youkuaiyun.com/qq_34427165/article/details/81324911ls、ls -a、ls -l、ls -al 可参考（常用ls-l）https://www.jianshu.com/p/808917325155  1. ls  只显示文件名或者文件目录&nbs

转载 https://blog.youkuaiyun.com/yychuyu/article/details/89527446 你是不是有遇到过这样的场景？使用 SSH 命令进入到服务器，然后再用 cd 命令进入到对应目录，再继续进行你的工作。这种操作对于新手来讲特别常见，良许之前也是这样。在本文，老司机将带你来进行更高效的操作，只需一步即可达到

转载 https://blog.youkuaiyun.com/renhanchi/article/details/79570665 Github代码地址：https://github.com/HandsomeHans/Tensorflow-preprocessing-training-testing所有代码去Github上拿吧，文件名对应好。TF版