junior_programmer的博客

当模型训练过程显存占用较大无法在单个gpu上完成的时候，必须使用分布式训练，将模型或者数据分配到不同的节点上，降低单个gpu的负荷。 这里重点介绍最简单的数据并行范式的分布式训练（DistributedDataParallel，ddp）,基本思想就是将一个大的batch的训练数据的loss计算拆分成多个小的batch，分配到多个不同的gpu上分别计算loss，然后收集加总，再进行反向传播。 多机多卡数据并行训练 多机多卡数据并行训练最方便的实现是利用torch.nn.parallel.Distributed

1.打开终端窗口，使用以下命令检查Nvidia卡正在使用哪个驱动程序： sudo lshw -c display 还可以使用video而不是display作为类名： sudo lshw -c video 默认情况下，开源nouveau驱动程序用于Nvidia卡 2.禁用nouveau 显卡驱动 blacklist nouveau options nouveau modeset=02. 重新生成 kernel initramfs: sudo update-initramfs -u 3...

pytorch 下载 gpu版 pip install torch===1.5.0 torchvision===0.6.0 -f https://download.pytorch.org/whl/torch_stable.html cpu版 pip install torch==1.5.0+cpu torchvision==0.6.0+cpu -f https://download.pytorch.org/whl/torch_stable.html 中文bert-wwm 模型 下载 中文bert-w

// 美团技术博客 美团nlp团队参加竞赛获奖项目介绍 美团数据开发团队整合Jupyter和Spark

官方教程 http://www.nltk.org/book/ch00.html documentation http://www.nltk.org/ github 源码 https://github.com/nltk/nltk 我爱自然语言处理论坛 http://www.52nlp.cn/tag/nltk%E4%BB%8B%E7%BB%8D 结巴中文分词 https://gith...