junior_programmer的博客

当模型训练过程显存占用较大无法在单个gpu上完成的时候，必须使用分布式训练，将模型或者数据分配到不同的节点上，降低单个gpu的负荷。这里重点介绍最简单的数据并行范式的分布式训练（DistributedDataParallel，ddp）,基本思想就是将一个大的batch的训练数据的loss计算拆分成多个小的batch，分配到多个不同的gpu上分别计算loss，然后收集加总，再进行反向传播。多机多卡数据并行训练多机多卡数据并行训练最方便的实现是利用torch.nn.parallel.Distributed

1.打开终端窗口，使用以下命令检查Nvidia卡正在使用哪个驱动程序：sudo lshw -c display还可以使用video而不是display作为类名：sudo lshw -c video默认情况下，开源nouveau驱动程序用于Nvidia卡2.禁用nouveau 显卡驱动blacklist nouveauoptions nouveau modeset=02.重新生成 kernel initramfs:sudo update-initramfs -u3...

pytorch 下载gpu版pip install torch===1.5.0 torchvision===0.6.0 -f https://download.pytorch.org/whl/torch_stable.htmlcpu版pip install torch==1.5.0+cpu torchvision==0.6.0+cpu -f https://download.pytorch.org/whl/torch_stable.html中文bert-wwm 模型 下载中文bert-w

// 美团技术博客美团nlp团队参加竞赛获奖项目介绍美团数据开发团队整合Jupyter和Spark

官方教程http://www.nltk.org/book/ch00.htmldocumentationhttp://www.nltk.org/github 源码https://github.com/nltk/nltk我爱自然语言处理论坛http://www.52nlp.cn/tag/nltk%E4%BB%8B%E7%BB%8D结巴中文分词https://gith...