分布式实现网络爬虫

最新推荐文章于 2025-06-23 22:08:38 发布

努力与躺平

最新推荐文章于 2025-06-23 22:08:38 发布

阅读量659

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_42326545/article/details/88880730

本文分享了从普通爬虫升级到分布式爬虫的过程，包括多线程应用、函数模块化等关键技术点，并解决了分布式环境中遇到的实际问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

笔者尝试由原本的一个普通的爬虫程序，修改成分布式爬虫，期间遇到一些问题，在此作此博客，分享收获。
爬虫的思路：

目标网页
网页解析
目标提取
对目标进行下载
实现普通的爬虫根据这个思路，利用正则即可完成

将其改为分布式爬虫的思路是：将解析、访问网页的部分用函数进行编写，之后逐次调用，调用的过程中就可以用到了分布式，多线程啦!!

import requests
import re
import time
import multiprocessing as mp
from urllib.parse import urljoin
from multiprocessing.dummy import Pool as ThreadPool

这是所用到的库
第一步是导入这些库
第二步是，把解析、和网页url写成函数块

def parse():
  
省略

return 

def urlger():

省略

return

第三步
建立多线程利用

pool = ThreadPool(8)

此处因为电脑是八核的，这个可以自己设置，八线程

第四步
也是实现关键的一步

 content=pool.map(parse,L)
  
  pool.map(appends,chapter_info_list)

实现多线程的关键部分如上

实现过程中遇到的问题：

建立起分布式一定要有 if name==‘main’: ！否则报错
在获取完content后，进行fb.write(content1 + ‘\n’) 时，出现错误 can only concatenate list (not “float”) to list 错误的原因是因为，list类型无法加入str类型中，content的类型为list!所以这边转化一下就可以了参考了博客
list与str转换

3.在实现的过程中，发现 content=pool.map(parse,L) 中map的第二个参数只能是一个list！不能是一个单值，否则会报错，单值用apply_async，
而且在map中返回的content 为L中所有元素返回值得list 所有，content为list类型
此处 map 与apply_async的区别参见
https://blog.youkuaiyun.com/lee2315/article/details/83375787
async单值，但可以利用循环生成list输入，map可以多值仅且

参考：
https://www.cnblogs.com/gengyi/p/8620853.html pool的理解
https://www.jianshu.com/p/f8c5719e5af4
python最易用的并发处理–multiprocessing.Pool进程池及ThreadPool线程池

还有一点明天补齐，多线程与多进程的区别

本程序是分布式爬虫小说，想要源码的话，将在6月份后更新