创建指定目录的conda环境:
conda create --prefix=/path/to/you/env/name python=3.7
配置Linux环境:
nano ~/.bashrc
查看显卡状态与实时显示显卡状态:
nvidia-smi;watch nvidia-smi
从镜像网址进行配置文件下载:
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt
使用指定显卡计算项目内容:
CUDA_VISIBLE_DEVICES=0
不同创建环境的方式
conda env create -f environment.yml
pip install -r requirements.txt
解压文件到指定文件夹
unzip filename.zip -d /path/to/destination
解决办法:添加镜像HF下载路径
export `HF_ENDPOINT`=`'https://hf-mirror.com'`
torch环境搭建(CUDA12.1,linux,pip)
pip3 install torch torchvision torchaudio
当根目录下内存已满无法使用pip进行安装时出现的报错::
ERROR: Could not install packages due to an OSError: [Errno 28] No space left on device
解决办法:export TMPDIR=/data/自己的目录
生成当前环境的requirement.txt文件:
pip list --format=freeze >requirement.txt
压缩文件夹为tar.gz文件:
tar -czvf archive.tar.gz /path/to/folder
解压tar.gz文件内容:
tar -xzvf filename.tar.gz
解压tar.xz文件内容:
tar Jxvf archive_name.tar.xz
查看文件占用内存大小:
du -lh --max-depth=0 /data/hbx/stage2/txt2vid
下载ransformer等模型到指定文件夹:
export TRANSFORMERS_CACHE=/data/hbx/autoGPTQ/AutoGPTQ/cache
查看进程命令
ps aux | grep apache2