python 爬虫如何通过scrapy简单模拟登陆豆瓣网，手动进行图形验证码的验证

最新推荐文章于 2024-09-19 00:56:37 发布

FlenceXu

最新推荐文章于 2024-09-19 00:56:37 发布

阅读量599

点赞数 3

CC 4.0 BY-SA版权

分类专栏： 1011

本文链接：https://blog.youkuaiyun.com/qq_40243365/article/details/83018515

本文介绍如何通过Python的Scrapy框架来创建一个爬虫项目，模拟登陆豆瓣网站。首先，使用'scrapy startproject douban_login'初始化项目。接着，创建douban_login.py作为主程序，编写相关登录逻辑，包括设置浏览器头部信息。然后，在settings中配置以模拟浏览器行为。最后，编写main.py运行函数，实现登录并处理图形验证码的验证流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.建立scrapy爬虫程序，在terminal命令行输入’scrapy startproject douban_login’
2.建立爬虫主程序，主要步骤都在这里实现，以douban_login.py命名
程序代码如下：

import scrapy
from scrapy.spider import CrawlSpider
from urllib import request
from PIL import Image#加载验证码图片的模块
#登陆豆瓣主程序
class Douban_login(CrawlSpider):
    name = 'douban_login'
    allowed_domains = ['douban.com']
    start_urls = ['https://accounts.douban.com/login']
    log_in = 'https://accounts.douban.com/login'

    def parse(self, response):
        #创建一个可以进行填写模拟登陆信息的字典
        formdata = {
            'source':'None',
            'redir':'https://accounts.douban.com/login',
            'form_email':'979029080@qq.com',
            'form_password':'xl7187596',
            'remember':'on',
            'login':'登录'
        }
        #获取填写登录信息的对象
        captcha_url = response.css('img#captcha_image::attr(src)').get()
        #如果存在，填入对应的登录信息
        if captcha_url:
            captcha =self.captcha_img(captcha_url)
            formdata['captcha