RuntimeError: Address already in use

最新推荐文章于 2025-05-27 19:48:44 发布

梦想成为大佬的王老八

最新推荐文章于 2025-05-27 19:48:44 发布

阅读量2k

点赞数 2

CC 4.0 BY-SA版权

文章标签：人工智能深度学习机器学习

本文链接：https://blog.youkuaiyun.com/qq_42610612/article/details/133744679

本文讲述了在PyTorch多卡训练中遇到RuntimeError:Addressalreadyinuse的常见原因，包括程序非正常结束或设备上有其他进程占用端口。解决方法是修改master_port参数，并确保正确设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pytorch多卡训练时，常遇到的问题：RuntimeError: Address already in use

  File "/data/wanglaoba/anaconda3/envs/BGE/lib/python3.8/site-packages/torch/distributed/elastic/rendezvous/static_tcp_rendezvous.py", line 55, in next_rendezvous
    self._store = TCPStore(  # type: ignore[call-arg]
RuntimeError: Address already in use

原因：程序默认端口号被占用。

出现该问题可能的场景：

1. 程序非正常停止，实际进程并未停止；

2. 该设备上已有自己的或其他用户运行的多卡程序，大多是自己的。

解决方法：修改程序运行端口号，示例如下：

python -m torch.distributed.run --master_port [随机五位数] --nproc_per_node 4 train.py

注意：--master_port 只能放到.run之后，train.py之前，否则不会改变默认端口号。