scrapy中的各个模块的作用

最新推荐文章于 2023-11-20 10:41:43 发布

原创最新推荐文章于 2023-11-20 10:41:43 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy中的各个模块的作用

python 专栏收录该内容

198 篇文章

订阅专栏

本文介绍了一种使用Selenium和Chrome WebDriver实现的51job职位信息爬虫。该爬虫通过a51job.py模块发起请求，由middlewares.py中的JobMiddleware类处理，模拟浏览器行为获取动态加载的网页数据，并通过HtmlResponse返回给爬虫。数据清洗和处理在items模块完成，最终由pipelines.py存储至数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述
a51job.py,是爬虫，主要是进行请求，把请求发送给中间件middlewares.py,
middlewares.py通过
class JobMiddleware(object):
def init(self):
#接受到来自a51job.py中的Request请求,模拟的浏览器自动打开
self.browser = webdriver.Chrome(executable_path="/cdrom/chromedriver")

def process_request(self,request, spider):
    #因为详情页中不需要Selenium模拟,所以直接请求就可以了(因为没有ajax)用源信息进行请求就可以了
    if request.meta.get("message"):
        return None
    #浏览器get请求当中的url
    self.browser.get(request.url)
    # time.sleep(10)
    #返回给爬虫一个response
    return HtmlResponse(url=self.browser.current_url,body=self.browser.page_source,encoding="utf-8",request=request)

items:主要是做数据清洗（抓取字段根据需求进行处理）

pipelines.py：是最后一道工序，就是进行数据库的存储或者输出数据