使用Scrapy抓取需要登录的网站

最新推荐文章于 2024-04-26 01:45:18 发布
原创 最新推荐文章于 2024-04-26 01:45:18 发布 · 1.3w 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用Scrapy框架处理需要登录的网站。通过发送POST请求模拟登录，Scrapy会自动处理Cookies以便后续请求。如果登录失败，爬虫会停止并显示错误页面。文章还提到，对于包含额外验证如nonce的复杂登录流程，Scrapy提供了内建功能来分步处理，包括获取表单数据和填充登录信息。

经常在爬有些网站的时候需要登录，大多数网站需要你提供一个用户名和密码，在这种情况下，需要先向网站发送一个POST请求。可以使用Scrapy的FormRequest类，这个类和Request类很相似，只是多了一个extra参数，用这个参数可以传递表单数据。要使用这个类，先导入：

from scrapy.http import FormRequest

然后把start_urls替换成start_requests()方法，因为在这种情况下需要的不仅仅是一些URL（start_requests()方法的默认行为是从start_urls取出URL发出请求）。

在start_requests()方法中创建并返回一个FormRequest：

# Start with a login request
def start_requests(self):
    return [
        FormRequest(
        "http://web:9312/dynamic/login",
        formdata={"user": "user", "pass": "pass"}
        )]

Scrapy帮助我们处理了Cookies，只要登录之后，它就会在以后的请求中传递给服务器，就像浏览器做的一样。运行一下scrapy crawl：

$ scrapy crawl login
INFO: Scrapy 1.0.3 started (bot: properties)
...
DEBUG: Redirecting (302) to <GET .../gated> from <POST
.../login >
DEBUG: Crawled (200) <GET .../data.php>
DEBUG: Crawled (200) <GET .../property_000001.html> (referer:
.../data.php)
DEBUG: Scraped from <200 .../property_000001.html>
    {'address': [u'Plaistow, London'],
    'date': [datetime.datetime(2015, 11, 25, 12, 7, 27, 120119)],
    'description': [u'features'],
    'image_urls': [u'http://web:9312/images/i02.jpg'],
...
INFO: Closing spider (finished)
INFO: Dumping Scrapy stats:
    {...
    'downloader/request_method_count/GET': 4,
    'downloader/request_method_count/POST': 1,
    ...
    'item_scraped_count': 3,

从以上的输出中可以观察到一点：从dynamic/login（登录页面）重定向到dynamic/gated（登录后自动跳转到的页面）。也就是说，Scrapy从登录后跳转的作为种子URL，而这个跳转行为是与浏览器一致的。

如果输入错了用户名或者密码，会被重定向到一个错误页面，不会有items，且爬取的过程也会终止，比如：

$ scrapy crawl login
INFO: Scrapy 1.0.3 started (bot: properties)
...
DEBUG: Redirecting (302) to <GET .../dynamic/error > from <POST
.../dynamic/login>
DEBUG: Crawled (200) <GET .../dynamic/error>
...
INFO: Spider closed (closespider_itemcount)

上面只是一个简单的登录的例子，有些网站的登录做得更加复杂，但是大多数Scrapy也能很容易地处理。比如有些网站需要你从表单页POST数据到登录页的时候加上一些其他的一些表单变量，这样可以确认cookies是否已经启用，而且可以让暴力破解更加困难。

这里写图片描述

假设你访问了http://localhost:9312/dynamic/nonce这个URL，用谷歌浏览器的开发者工具可以看到这个表单有一个隐藏的域是nonce。当提交这份表单（到http://localhost:9312/dynamic/nonce-login）时，必须给出正确的用户名密码以及访问登录页面时服务器给出的nonce值。这个值猜是没法猜的，只能分成两个请求来解决登录问题。先要访问表单面然后访问登录页并传递数据。Scrapy有内建的函数帮助我们完成。

创建一个爬虫，在start_request()里面先返回一个指向表单页的请求，并把它的callback属性设置成parse_welcome()。在parse_welcome()方法中，使用FormRequest对象的from_response()方法，创建一个包含了原来表单所有域和值的FormRequest对象。FormRequest.from_response()方法大概模仿了页面上的第一个表单的单击提交行为，不过表单的每个域都是空的。

注：
花些时间熟悉一下from_response()方法的文档是很值得的。它有很多特性比如fromname和formnumber可以在页面上不止一个表单时帮助你选择你想要的那个表单。

from_response()方法包含了表单所有的包括隐藏的域，我们需要做的仅仅是用formdata参数填充user和pass域并返回FormRequest对象即可。相关代码如下：

# Start on the welcome page
def start_requests(self):
    return [
        Request(
            "http://web:9312/dynamic/nonce", callback=self.parse_welcome)
    ]
# Post welcome page's first form with the given user/pass
    def parse_welcome(self, response):
        return FormRequest.from_response(
            response,
            formdata={"user": "user", "pass": "pass"}
        )

运行结果如下：

$ scrapy crawl noncelogin
INFO: Scrapy 1.0.3 started (bot: properties)
...
DEBUG: Crawled (200) <GET .../dynamic/nonce>
DEBUG: Redirecting (302) to <GET .../dynamic/gated > from <POST
.../dynamic/nonce-login>
DEBUG: Crawled (200) <GET .../dynamic/gated>
...
INFO: Dumping Scrapy stats:
{...
    'downloader/request_method_count/GET': 5,
    'downloader/request_method_count/POST': 1,
    ...
    'item_scraped_count': 3,

可以看到，第一个请求是到/dynamic/nonce的GET请求,然后是到/dynamic/nonce-login的POST请求,再然后是登录之后到/dynamic/gated的重定向.

Python爬虫编程思想（154）：使用Scrapy处理登录页面
一个被知识诅咒的人
08-14 1000
在抓取Web页面数据时，并不是每一个页面的数据在任何时候都可以抓取到。有一些页面，需要用户登录后才可以在浏览器中显示，如果想通过爬虫抓取这样的页面，同样也需要登录。也就是说，这种页面只有特定的用户才能访问。...
Python爬虫实战：使用最新技术爬取需要登录的网站
最新发布
2201_76125261的博客
08-09 1392
本文将详细介绍如何使用Python爬虫技术爬取需要登录的网站，以知乎为例。我们将使用最新的爬虫技术和工具，包括requests、selenium、playwright等，并探讨如何处理验证码、保持会话、模拟登录等技术难点。文章包含详细的代码示例和实战演示，帮助读者掌握爬取需要登录网站的核心技术。关键词：Python爬虫、网站登录、知乎爬虫、requests、selenium、playwright、验证码处理使用Requests库直接模拟登录使用Selenium模拟浏览器操作。
scrapy爬取需要登录的网站（知乎）
BigDong的博客
06-08 4451
法一：使用lelenium在middlewares.py中import time from scrapy import signals from selenium import webdriver from scrapy.http import HtmlResponse import requests class LoginMiddle(object): def process_requ...
**python 的scrapy架构 爬取一个需要登录的网站的多个页面并导入数据库**
03-30 482
主要三个文件，爬取网页的bookspider.py 定义字段的 Items.py 传输到数据库的pipelines.py
Scrapy入门-爬取需要登录后才能访问的数据
千金散尽还复来
02-28 3757
本篇是Scrapy入门系列第四篇，建议读者依顺序循序渐进阅读，有任何疑问可以在评论区留言。另外，您的支持是我坚持更新的最大动力，右上角点关注给个鼓励吧。 前面几篇文章抓取的均是公开的数据，即没有控制访问权限即可浏览的数据。但还是存在一些网站（比如教学管理系统、内部论坛等），它会首先要求你登录，然后才能访问到后续的内容。这种情况下，就要首先解决登录授信的问题。在开始编码实现前，我们先了解下登录授信的原理。 Cookie Cookie，引用百度百科的定义“是某些网站为了辨别用户身份，进行Session跟踪
利用scrapy爬取需要登录的网站的数据（包含验证码的处理）--以爬取豆瓣网数据为例
qq_38585359的博客
07-26 2326
利用scrapy爬取需要登录的网站的数据（包含验证码的处理）–以爬取豆瓣网数据为例 1、在cmd命令行中输入 scrapy startproject douban，创建scrapy爬虫项目 2、在cmd命令行中调整到douban项目文件夹下输入 scrapy genspider -t basic db douban.com（最后一个是网站域名）创建名为db的爬虫（如果是创建自动爬虫要输入-...
Scrapy 如何抓取需要登录后才能访问的数据
reg183的专栏
05-11 563
Cookie，引用百度百科的定义“是某些网站为了辨别用户身份，进行Session跟踪而储存在用户本地终端上的数据（通常经过加密），由用户客户端计算机暂时或永久保存的信息”。网站就是判断一个请求里带的cookie是否有效，来判断客户请求是否已登录过，来避免每次访问一个新的网页，都要求重新登录（这样就反人类了）。 如上图所示，客户端的cookie是网站验证你的登录请求成功后，在应答的Set-Cookie域里面设置，客户端收到后会记录在本地，并在后续的请求中带上。 所以,要实现模拟登录抓取数据，有两个思路。一
利用Scrapy爬取网站
分享一些有趣的内容
04-17 420
【代码】利用Scrapy爬取网站。
爬虫基础篇之Scrapy抓取京东
onejane
04-22 5541
虚拟环境 同一台服务器上不同的项目可能依赖的包不同版本，新版本默认覆盖旧版本，可能导致其他项目无法运行，通过虚拟环境，完全隔离各个项目各个版本的依赖包，实现运行环境互不影响。 virtualenv pip install virtualenv 安装virtualenv python -m pip install --upgrade pip 升级pip pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio
scrapy模拟淘宝登陆.zip
01-06
在"scrapy模拟淘宝登陆.zip"这个压缩包中，我们可以推测它包含了一个使用Scrapy框架构建的项目，目的是模拟用户登录淘宝网站。这个项目可能包含了解析登录页面、提交登录表单、处理验证码以及存储登录状态等关键步骤...
scrapy框架模拟登陆人人网带状态维持
12-15
本教程将深入讲解如何使用Scrapy框架来模拟登录人人网，并实现状态维持，以便在抓取过程中保持用户的登录状态。 ### 1. 模拟登录 模拟登录主要是为了获取网站的cookies，这些cookies是服务器用来识别用户身份的。...
scrapy抓取登陆页面
chang___hong的专栏
03-26 476
经常在爬有些网站的时候需要登录，大多数网站需要你提供一个用户名和密码，在这种情况下，需要先向网站发送一个POST请求。可以使用Scrapy的FormRequest类，这个类和Request类很相似，只是多了一个extra参数，用这个参数可以传递表单数据。要使用这个类，先导入： 方法1：from scrapy.http import FormRequest然后把start_urls替换成start_
爬虫之scrapy登录
weixin_53984419的博客
03-27 577
这种写法是用scrapy中的FormRequest请求，这种请求默认就是post请求，把data以字典的格式放入formdata中就可以了。scrapy登录有两种方式，一个是直接加cookie，一个是走一遍登录的流程，常用的肯定是走登录流程了。这种写法中的body与平时把data写进字典中不同，需要拼接，不太方便，所以我常用第二种。走登录流程时，一般都是post请求，在scrapy中post请求有两种方式，第一种。登陆流程都知道，只是记录一下scrapy中好用的post请求方式。
需要登录的网站爬虫详解
Jesse_Kyrie的博客
01-10 4237
针对需要登录的网站提供可行的登录方案与接口分析技巧，帮助大家更好得提升爬虫技术。
python使用scrapy框架登录某个网页
qq_45137516的博客
10-30 381
示例代码: # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request, FormRequest class LoginSpider(scrapy.Spider): name = 'login' allowed_domains = ['iqianyue.com'] start_urls = ...
Python爬虫：爬取需要登录的网站（附爬虫视频教程）_python 爬虫如何爬取需要登录
2401_84424379的博客
04-17 920
使用cookie登陆，服务器会认为你是一个已登陆的用户，所以就会返回给你一个已登陆的内容。因此，需要验证码的情况可以使用带验证码登陆的cookie解决。对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！最后给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！
100天精通Python丨黑科技篇 —— 21、大语言模型_100天精通python快速入门到黑科技
m0_60452141的博客
04-26 1813
ChatGPT 是 OpenAI 推出的一种基于 GPT-3/4 的聊天机器人。chatgpt 的颠覆性影响主要体现在提高语言交流的便捷性、个性化服务、自动化客服和教育娱乐等方面，这些应用可以为用户带来更多的便利和乐趣，同时也为企业提供了更多的服务和商机。本文收录于，是由的硬核博主倾力打造，分基础知识篇和黑科技应用两大部分，欢迎订阅本专栏，订阅后可私聊进Python全栈VIP交流群（问题解答、互相帮助）还可领取20GPython视频和100本互联网行业电子书。
Python爬虫：手把手教你采集登陆后才能看到数据！
Python_sn的博客
11-09 1480
爬虫在采集网站的过程中，部分数据价值较高的网站，会限制访客的访问行为。这种时候建议通过登录的方式，获取目标网站的cookie，然后再使用cookie配合代理IP进行数据采集分析。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤QQ群：961562169 1 使用表单登陆 这种情况属
python爬虫教程：用scrapy实现模拟登录
python56123的博客
09-12 688
嗨喽~大家好呀，这里是魔王呐 ❤ ~!
SCRAPY实现模拟登陆
10-09
Scrapy是一个强大的Python爬虫框架，用于高效地抓取网站数据。如果你需要模拟登录某个网站，Scrapy可以配合第三方库如Requests或Selenium来完成这个过程。以下是基本步骤： 1. 安装依赖：首先，你需要安装`scrapy`、`requests`（默认支持HTTP请求）和`selenium`（如果目标网站有JavaScript验证）。 ```bash pip install scrapy requests selenium (如果需要) ``` 2. 创建Scrapy项目：使用`scrapy startproject your_project_name`命令创建一个新的Scrapy项目。 3. 导入必要的模块：在`settings.py`文件中添加对Selenium的支持，并设置一个中间件处理登录，例如: ```python DOWNLOADER_MIDDLEWARES = { 'your_project.middlewares.SeleniumMiddleware': 543, } ``` 4. 编写中间件（Middlewares）：创建`middlewares/SeleniumMiddleware.py`文件，这里通常会使用`webdriver_manager`来管理浏览器驱动，然后初始化Selenium实例： ```python from scrapy import signals from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager class SeleniumMiddleware: def __init__(self): self.driver = webdriver.Chrome(ChromeDriverManager().install()) @classmethod def from_crawler(cls, crawler): middleware = cls() crawler.signals.connect(middleware.spider_opened, signal=signals.spider_opened) return middleware def spider_opened(self, spider): # 开启浏览器并导航到登录页面 self.driver.get(spider.login_url) def process_request(self, request, spider): if spider.is_login_required and 'login_form_data' in request.meta: # 提交表单数据，模拟登录 form_data = request.meta['login_form_data'] self.driver.find_element_by_name(form_data['username_field']).send_keys(form_data['username']) self.driver.find_element_by_name(form_data['password_field']).send_keys(form_data['password']) login_button = self.driver.find_element_by_css_selector(form_data['submit_button']) login_button.click() # 如果需要保持登录状态，可以在每个后续请求前检查cookie等信息 # ... return request ``` 5. 使用中间件：在Scrapy项目的spiders目录下，编写一个spider，将登录需求作为元数据传递给中间件： ```python class LoginSpider(scrapy.Spider): name = "login_spider" allowed_domains = ["example.com"] start_urls = ['http://example.com/login'] def is_login_required(self): return True def parse(self, response): # 登录成功后的解析逻辑 ... ``` 6. 设置登录数据和启动爬虫：在运行spider之前，指定登录表单的数据（用户名、密码、提交按钮等），然后通过`scrapy crawl`命令启动。 ```bash scrapy crawl login_spider -a login_form_data={"username_field": "username", "password_field": "password", "submit_button": ".btn-login"} ``` 注意：并非所有网站都支持直接模拟登录，某些网站可能需要验证码、OAuth授权等方式。此外，频繁的模拟登录可能会触发反爬机制或违反服务条款，因此在实际操作时需谨慎。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值