一、multiprocessing.pool.RemoteTraceback

最新推荐文章于 2023-10-08 10:03:17 发布

原创

最新推荐文章于 2023-10-08 10:03:17 发布 · 5.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

在训练过程中遇到一个ValueError，源于mxnet库中的multiprocessing数据加载部分。错误指出low大于等于high，这可能是由于随机数生成的边界问题。解决方法是在mx.gluon.data.DataLoader中设置thread_pool=True，改用线程池代替多进程池，以避免共享内存问题并提高性能。调整后的代码示例已给出。

遇到如下问题多半时数据有问题`。

// A code block
var foo = 'bar';

multiprocessing.pool.RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/home/unaguo/anaconda3/envs/pt1.3-py3.6/lib/python3.6/multiprocessing/pool.py", line 119, in worker
    result = (True, func(*args, **kwds))
  File "/home/unaguo/anaconda3/envs/pt1.3-py3.6/lib/python3.6/site-packages/mxnet/gluon/data/dataloader.py", line 429, in _worker_fn
    batch = batchify_fn([_worker_dataset[i] for i in samples])
  File "/home/unaguo/anaconda3/envs/pt1.3-py3.6/lib/python3.6/site-packages/mxnet/gluon/data/dataloader.py", line 429, in <listcomp>
    batch = batchify_fn([_worker_dataset

最低0.47元/天解锁文章