本文详细介绍了如何在Ubuntu18.04环境下进行PaddleOCR的多机多卡分布式训练。首先，文章阐述了项目背景，强调了大规模数据和均匀覆盖的重要性。接着，重点讲述了环境配置，包括NVIDIA NCCL的安装和GPU环境的设置，确保所有机器在同一网络中并能相互ping通。在分布式训练部分，区分了主机和从机的角色，提供了启动命令示例。最后，补充了训练过程中的常见问题和解决办法，如主机与从机的角色互换和网络带宽的影响。
一、项目背景
生僻字的fine-tune不能简单的使用几百个数据训练一下，这样会让之前学习到的忘掉。
怎么办呢，就只能加大数据量，在git上提了issue以后简单了解到了以下内容：
- 数据量要大 最少几百万条数据
- 对于生僻字的覆盖要均匀 每个字最少出现200次以上
- 场景尽量多样 可以做合成数据
于是我就用前面的博客写的生僻字数据集制作，简单做了40w数据。
我有两台2080，又没有办法把两个2080放在一个主板上，那么故事就开始了。
二、环境配置
- 首先要满足单机多卡或者单机单卡没有问题，这保证了你的paddle环境没有问题。
- 然后不同机器之间的代码、数据与运行命令或脚本需要保持一致。
- 所有主机要在相同的网段里面，最好连在1个路由器或者交换机上面，可以互相ping通。
上述要求都满足之后开始安装nccl，也是属于nvidia全家桶里面的一个东西。
下载地址：
最低0.47元/天 解锁文章
扫一扫
1314
到【灌水乐园】发言
