单机下进行分布式爬取数据(windows下单机模拟多机进行分布式爬虫)

最新推荐文章于 2025-08-20 10:13:48 发布

原创

最新推荐文章于 2025-08-20 10:13:48 发布 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

该博客介绍了如何在单台Windows机器上模拟多机环境进行分布式爬虫。主要涉及URL管理、数据存储、控制节点和爬虫节点的实现，包括SpiderNode模块的SpiderWork（爬虫调度器）、HtmlParser（HTML解析器）和HtmlDownloader（HTML下载器），以及ControlNode模块的URLManager（URL管理器）和DataOutput（数据存储端）。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

URL管理器ControlNode/ URLManager.py

#coding:utf-8
import cPickle
import hashlib
class UrlManager(object):
    def __init__(self):
        self.new_urls = self.load_progress('new_urls.txt')#未爬取URL集合
        self.old_urls = self.load_progress('old_urls.txt')#已爬取URL集合
    def has_new_url(self):
        '''
        判断是否有未爬取的URL
        :return:
        '''
        return self.new_url_size()!=0

    def get_new_url(self):
        '''
        获取一个未爬取的URL
        :return:
        '''
        new_url = self.new_urls.pop()
        m = hashlib.md5()
        m.update(new_url)
        self.old_urls.add(m.hexdigest()[8:-8])
        return new_url

    def add_new_url(self,url):
        '''
         将新的URL添加到未爬取的URL集合中
        :param url:单个URL
        :return:
        '''
        if url is None:
            return
        m = hashlib.md5()
        m.update(url)
        url_md5 =  m.hexdigest()[8:-8]
        if url not in self.new_urls and url_md5 not in self.old_urls:
            self.new_urls.add(url)

    def add_new_urls(self,urls):
        '''
        将新的URLS添加到未爬取的URL集合中
        :param urls:url集合
        :return:
        '''
        if urls is None or len(urls)==0:
            return
        for url in urls:
            self.add_new_url(url)

    def new_url_size(self):
        '''
        获取未爬取URL集合的s大小
        :return:
        '''
        return len(self.new_urls)

    def old_url_size(self):
        '''
        获取已经爬取URL集合的大小
        :return:
        '''
        return len(self.old_urls)

    def save_progress(self,path,data):
        '''
        保存进度
        :param path:文件路径
        :param data:数据
        :return:
        '''
        with open(path, 'wb') as f:
            cPickle.dump(data, f)

    def load_progress(self,path):
        '''
        从本地文件加载进度
        :param path:文件路径
        :return:返回set集合
        '''
        print '[+] 从文件加载进度: %s' % path
        try:
            with open(path, 'rb') as f:
                tmp = cPickle.load(f)