爬虫第八课--scrapy模拟登陆

韩淼燃

于 2019-05-15 23:45:06 发布

阅读量307

点赞数

CC 4.0 BY-SA版权

分类专栏： python怕虫项目课程文章标签： python 模拟登录

本文链接：https://blog.youkuaiyun.com/weixin_36691991/article/details/90247577

python怕虫项目课程专栏收录该内容

18 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细讲解如何利用Python的Scrapy框架进行模拟登录，覆盖从设置请求头到处理验证码的完整流程，帮助你掌握网络爬虫在面对需要登录才能访问的网站时的实战技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

'''
1.Requset()实例中有很多参数，一般我们使用的get，如果使用post。使用参数method，post传递参数使用body，
参数格式是json编码，也就是字符串
我们使用post请求的第二种方法就是使用FormRequest(),传递参数还是使用formdata。
2.日志
级别error 》  info  》 debug
设置日志的等级
1》配置文件中配置
LOG_LEVEL = 'DEBUG'
LOG_FILE = 'log.log'
2》命令行设置   scrapy crawl 爬虫 -L INFO
        --nolog 不打印日志
3.模拟登录
》查看请求，查看浏览器是如何登录的，发送了什么header信息，什么data信息
》构造data数据包
》通过python发送请求
'''

'''
scrapy 默认有去重机制，在内存中进行去重
start_urls中默认不会去重的，不想去重，在requset中使用参数dont_filter=true
'''

# -*- coding: utf-8 -*-
import scrapy


class Login2SpiderSpider(scrapy.Spider):
    name = 'login2_spider'
    # allowed_domains = ['example.webscraping.com/places/default/user/login']
    start_urls = ['http://example.webscraping.com/place