1.主题背景:
之前由于虚拟机太卡,所以爬虫就放在windows下来实现,在windows多线程实现爬虫还没有什么问题,爬取的结果也正常.
于是我把多线程的代码修改了一番,变成多进程实现
2.问题:
运行也没有报错,但是结果老是显示不出来,
思来想去,最终敲定代码没有错(当然这个过程是非常痛苦的,让我一晚上啥也没有干),那么我开始搜索网上的资源,最终发现了一篇大神的博客,虽然没有仔细看过内容,但是给我的提示已经够了,在这里为了表示感谢,附上这篇博客地址,有兴趣的可以看看windows和linux下的multiprocessing模块的不同
3.解决方案:
既然已经知道是windows确实有点特立独行,那么我就把代码放到虚拟机里面运行,结果自然是可以的

在windows下多进程实现爬虫使用的multiprocessing的问题
最新推荐文章于 2025-03-04 12:43:46 发布
本文分享了在Windows环境下使用多进程实现爬虫遇到的问题及解决方案。作者最初在虚拟机上运行爬虫,后尝试在Windows下用多线程实现,效果正常。但在改为多进程实现时,虽无报错,结果却无法显示。经过一番排查,最终将代码移至虚拟机运行成功解决问题。
1358

被折叠的 条评论
为什么被折叠?



