工程项目便利集锦

【1】Ubuntu16.04下使用virtualenv创建各版本python的虚拟环境

python3 -m venv my_env

【2】Ubuntu强制结束GPU进程

【3】Pytorch:多块GPU调用细节问题及Pytorch的nn.DataParallel解释

【4】ModuleNotFoundError: No module named 'cv2' （安装cv2）

【5】Vue环境配置

【6】Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location='cpu' to map your storages to the CPU.

【7】Pytorch的GPU计算（cuda）

【8】在Jupyter notebook中添加虚拟环境 - 知乎

【9】paddle 重装最新版本

为什么要重装，因为：

Traceback (most recent call last):
  File "run_robust.py", line 28, in <module>
    from paddlenlp.data import Pad, Stack, Tuple, Dict
  File "/home/qxn/py3_qxn/lib/python3.6/site-packages/paddlenlp/__init__.py", line 24, in <module>
    from . import data
  File "/home/qxn/py3_qxn/lib/python3.6/site-packages/paddlenlp/data/__init__.py", line 16, in <module>
    from .data_collator import *
  File "/home/qxn/py3_qxn/lib/python3.6/site-packages/paddlenlp/data/data_collator.py", line 23, in <module>
    from ..transformers.tokenizer_utils_base import BatchEncoding, PretrainedTokenizerBase, PaddingStrategy
  File "/home/qxn/py3_qxn/lib/python3.6/site-packages/paddlenlp/transformers/__init__.py", line 72, in <module>
    from .megatronbert.modeling import *
  File "/home/qxn/py3_qxn/lib/python3.6/site-packages/paddlenlp/transformers/megatronbert/modeling.py", line 20, in <module>
    from paddle import einsum
ImportError: cannot import name 'einsum'

【10】Ubuntu 18.04安装nccl，1，2

【11】Python使用conda安装requirement.txt的扩展包

【12】ubuntu20.04安装cuDNN

【13】conda创建虚拟环境

【14】NCCL安装

【15】conda创建/删除/重命名虚拟环境

【16】VS code链接linux服务器，每次需要重新输入密码——解决方案

【17】解决国内无法connect huggingface.io 的问题

如何使用HF-Mirror🌟

本站域名  hf-mirror.com，用于镜像  huggingface.co 域名。作为一个公益项目，致力于帮助国内AI开发者快速、稳定的下载模型、数据集。捐赠支持请看网页左下角，感谢支持！

更多详细用法请看《这篇教程》。

方法一：网页下载

在本站搜索，并在模型主页的Files and Version中下载文件。

方法二：huggingface-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

1. 安装依赖

pip install -U huggingface_hub

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

建议将上面这一行写入 ~/.bashrc。
3.1 下载模型

huggingface-cli download --resume-download gpt2 --local-dir gpt2

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得，详细解释请见上面提到的教程。

方法三：使用 hfd

hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 aria2，可以做到稳定高速下载不断线。

1. 下载hfd

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

3.1 下载模型

./hfd.sh gpt2

3.2 下载数据集

./hfd.sh wikitext --dataset

方法四：使用环境变量（非侵入式）

非侵入式，能解决大部分情况。huggingface 工具链会获取HF_ENDPOINT环境变量来确定下载文件所用的网址，所以可以使用通过设置变量来解决。

HF_ENDPOINT=https://hf-mirror.com python your_script.py

不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了。

常见问题

Q: 有些项目需要登录，如何下载？

A：部分 Gated Repo 需登录申请许可。为保障账号安全，本站不支持登录，需先前往 Hugging Face 官网登录、申请许可，在官网这里获取 Access Token 后回镜像站用命令行下载。
部分工具下载 Gated Repo 的方法：

huggingface-cli： 添加--token参数

huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

hfd： 添加--hf_username--hf_token参数

hfd meta-llama/Llama-2-7b --hf_username YOUR_HF_USERNAME --hf_token hf_***

其余如from_pretrained、wget、curl如何设置认证 token，详见上面第一段提到的教程。

【18】MarkDown常用格式示例_openreview markdown-优快云博客

以上工程操作均为我亲自实践验证无误！