爬虫重定向问题解决

原创已于 2024-11-23 22:41:11 修改 · 959 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

于 2024-11-21 15:30:21 首次发布

一，问题

做爬虫时会遇到强制重定向的链接，此时可以手动获取重定向后的链接
如下图情况
在这里插入图片描述
第二个链接是目标要抓取的，但它是第一个链接重定向过去的，第一个链接接口状态也是302

二，解决方法

请求第一个链接，设置 allow_redirects = False
从响应头中提取 Location 参数，即为重定向后的链接

    res = requests.get(url = url, headers = headers, data = data, allow_redirects = False)
    redirectUrl = res.headers['Location']

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

西门一刀

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

当爬虫遇上重定向

weixin_41421609的博客

10-14

4681

爬虫之处理重定向问题问题导论什么是重定向？简单的说，重定向就是请求被转发到其他页面去了在生活中，当我们打开一个网址时，往往需要等待稍长一段时间，而最终的网址也发生的变化，这就是重定向。如果我们日常用浏览器浏览网站倒是没有什么问题，但是，当我们使用爬虫来爬取这样的页面时，真正的网址就会被忽略。那么，我们该如何处理这样的情况呢？实例分析下面我们以两个个真实的网址，我们要提取它...

爬虫重定向问题

优快云xiaozhi的博客

03-30

780

与大神一起工作的日常问题1： *之前一直在使用requests进行爬虫，虽然说也能执行并且获取数据，但是相对来说scrapy更为有效 * scrapy日常出错背景：今天在进行scrapy修改的时候发现 requests 重定向问题： requests的重定向只需要在请求的时候添加：allow_redirects=False 样例：r = requests.get(‘http://github.com’, allow_redirects=False) scrapy简单重定向：遇到简单的框架性的

参与评论您还未登录，请先登录后发表或查看评论

抓取网页重定向之前的接口请求

天麟江的博客

09-30

1698

2.使用保留日志的功能，勾选上保留日志的选项卡之后，便可以保留重定向之前，页面所做的请求了（更推荐）1.断网操作，选择开发者调试工具下面的，网络离线功能进行离线操作。

python爬虫post后重定向_python爬虫丨重定向问题

weixin_39662228的博客

12-15

894

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云，作者：周小董重定向问题在使用python爬虫的过程中难免会遇到很多301，302的问题。他们出现时，很大程度的影响到我们的爬虫速度和信息的准确性。下面针对不同的模块给出不同的解决方案。使用requests模块爬虫使用requests模块遇到301和302问题时，...

Python爬虫遇到重定向URL问题时如何解决？

Z_suger7的博客

11-29

2139

重定向是指当用户请求一个URL时，服务器返回一个中断请求的URL的响应。这种情况通常发生在网站对URL进行了修改或者重定向到其他页面的情况下。其中，如果处理不当开发，可能会导致爬虫无法获取所需的数据，从而影响爬虫的效果。在Python爬虫开发中，处理重定向URL问题是非常的。我们使用可以请求库来处理重定向，通过查看重定向后的重要URL和重定向历史来了解重定向的情况，从而确保爬虫能够正确获取所需的数据。

python爬虫post后重定向_Python爬虫后获取重定向url的两种方法

weixin_31180441的博客

01-29

1108

Python爬虫后获取重定向url的两种方法,爬虫,重定向,方法,两种,都是Python爬虫后获取重定向url的两种方法易采站长站，站长之家为您整理了Python爬虫后获取重定向url的两种方法的相关内容。下面给大家分享Python爬虫后获取重定向url的两种方法，具体内容如下所示；方法(一)# 获得重定向urlfrom urllib import request# https://zhidao....

post获取重定向的链接 python_Python爬虫后获取重定向url的两种方法

weixin_39828331的博客

01-28

282

下面给大家分享python爬虫后获取重定向url的两种方法，具体内容如下所示；方法(一)# 获得重定向urlfrom urllib import request# https://zhidao.baidu.com/question/681501874175782812.htmlurl = "https://www.baidu.com/link?url=iscbx0u8h9q4uq3ihts_pqn...

python重定向反爬虫_python爬虫重定向次数过多问题

weixin_40007175的博客

12-06

1448

错误提示如下：raise TooManyRedirects('Exceeded %s redirects.' % self.max_redirects, response=resp)requests.exceptions.TooManyRedirects: Exceeded 30 redirects.原来程序的的获取是通过一下程序来访问url的：r = requests.get(url)print...

Python 爬虫技巧：百度页面重定向的自动跟踪与处理

Z_suger7的博客

08-06

1256

pythontry:# 使用示例。

python爬虫解决网页重定向问题

热门推荐

_compiling的博客

12-12

3万+

笔者使用python2.7+requests编写爬虫，以下问题针对此情况讨论。 重定向(Redirect)就是通过各种方法（本文提到的为3种）将各种网络请求重新定个方向转到其它位置（URL），编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况。当重定向发生在某个网站的主页时，作为该网站的入口，如果不能正确处理重定向很有可能会错失这整个网站的内容。笔者编写的爬虫在爬取网页时遇到了三种重定向

chrome登录_【软件工具】利用python爬虫实现对校园网的自动登录

weixin_39942351的博客

11-26

1033

利用python爬虫实现对校园网的自动登录利用python爬虫实现对校园网的自动登录摘要准备工作思路实现步骤1. 浏览器的动作分析2. 核心代码的实现3.存储用户名密码便于下次直接使用4.小细节5. 整合所有代码，完善逻辑，处理异常5.打包成exe6.关于更新微信公众号内回复关键字：'校园网' 获得下载地址摘要本文介绍了如何利用python爬虫实现对zzuli校园网的自动登录。主要利用...

解决爬虫在重定向(Redirect)情况下，URL没有变化的方法

weixin_48591974的博客

11-02

1689

重定向是一种网络服务，它可以实现从一个网页跳转到另一个网页的功能。它把用户请求的网页重定向到一个新的位置，而这个位置可以是更新的网页，或最初请求的网页的不同版本。另外，它还可以用来改变用户流量，当用户请求某个网页后，它会将用户请求重定向到一个截然不同的页面，从而达到在流量分发上更有效率的目的。 重定向(Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置（如：网页重定向、域名的重定向、路由选择的变化也是对数据报文经由路径的一种重定向）。

C#HttpClient重定向地址

weixin_45302940的博客

11-15

1671

最近在写爬虫时，在Post之后需要获得重定向地址进行判断，一开始是取 httpResponseMessage.Content.Headers.ContentLocation.AbsolutePath 后来发现，这个属性一直都是null，但是没有发现有其他属性定义重定向地址，经过调试后发现 httpResponseMessage.RequestMessage.RequestUri 这个地址是会随...

爬虫f12跳转和debugger检测

da_yu_yan_jia的博客

04-15

706

在空白页面的控制台运行解决重定向再复制url到网页。//构造方法无限debugger。

重定向的链接在谷歌F12中看不到

ezreal_tao的博客

02-16

2823

重定向的链接在谷歌F12中看不到，打开Network中的Preserve log就可以看到

Python爬虫遇到重定向问题解决办法汇总

weixin_44617651的博客

08-04

3922

在进行Python爬虫任务时，遇到重定向问题是常见的问题之一。重定向是指在发送请求时，服务器会返回一个新的URL，将请求重新定向到该URL。为了帮助您解决这个问题，本文将提供一些实用的解决办法，并给出相关的代码示例，希望能对您的爬虫任务有所帮助。

Scrapy爬虫遇见重定向301/302问题解决方法

WuYan_Emperor的博客

06-30

2361

在scrapy爬取数据时，遇到重定向301/302，特别是爬取一个下载链接时，他会直接重定向并开始下载，在下载之后才会返回爬取的链接，这时候就需要中止重定以下302都可以换成301，是一样的。

重定向cookie传不过去_python爬虫（网页重定向怎么破？）

weixin_39915815的博客

12-03

1177

*****声明：此实例仅用于学习 *****1.网页重定向 。在分析房天下网站，不难发现每个网页有个重定向，比如：访问网页https://cd.esf.fang.com/chushou/3_211293494.htm会跳转至https://cd.esf.fang.com/chushou/3_211293494.htm?rfss=1-b71f212cbb874a451c-3a 这个网页，其实两个地址...

爬虫如何解决网页重定向问题

最新发布

07-25

### 重定向类型及处理方式网页重定向是指浏览器或服务器将请求从一个URL自动转到另一个URL的过程。在爬虫开发中，常见的重定向类型主要包括以下三种： 1. **服务器端重定向** 服务器端重定向通常通过HTTP状态码（如301、302）来实现，该类重定向由服务器发起，客户端（如浏览器）根据响应码自动处理跳转。对于爬虫而言，大多数情况下可以通过请求库（如`requests`）自动处理这类重定向。例如，`requests`库在接收到301或302响应码时会自动跟随重定向，并将最终的URL记录在`response.url`属性中。因此，可以通过比较请求的初始URL与`response.url`是否一致来判断是否发生了重定向。 ```python import requests response = requests.get("http://example.com") if response.status_code in [301, 302]: print("重定向后的URL:", response.url) ``` 2. **Meta Refresh重定向** 这种类型的重定向是通过HTML页面中的`<meta>`标签实现的，例如`<meta http-equiv="refresh" content="0;url=http://new-url.com">`。由于这种重定向是由浏览器在客户端处理的，普通的HTTP请求库（如`requests`）无法自动跟随跳转，因此需要手动解析页面内容并提取重定向的URL。可以使用`BeautifulSoup`或`lxml`结合XPath或正则表达式来提取目标URL。 ```python from lxml import html tree = html.fromstring(response.text) meta_refresh = tree.xpath('//meta[@http-equiv="refresh"]/@content') if meta_refresh: redirect_url = meta_refresh[0].split("url=")[-1] print("Meta Refresh重定向的URL:", redirect_url) ``` 3. **JavaScript重定向** JavaScript重定向通常通过`window.location`或`document.location`等方法实现，例如`window.location.href = "http://new-url.com"`。由于JavaScript的执行环境复杂且多变，普通的HTTP请求库无法处理此类重定向。解决这类问题的常见方法是使用无头浏览器（如Selenium配合PhantomJS或Chrome Headless模式）来模拟浏览器行为，从而正确加载页面并完成重定向。 ```python from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('--headless') # 无头模式 driver = webdriver.Chrome(options=options) driver.get("http://example.com") print("JavaScript重定向后的URL:", driver.current_url) ``` ### 处理重定向的综合策略在实际的爬虫开发中，建议采用以下策略来全面处理重定向问题： - **自动处理服务器端重定向**：使用`requests`库时，可以通过设置`allow_redirects=True`参数来自动处理301、302等服务器端重定向。 - **解析Meta Refresh标签**：在接收到HTML响应后，检查是否存在`<meta>`标签中的`refresh`指令，并从中提取目标URL。 - **使用无头浏览器处理JavaScript重定向**：对于依赖JavaScript跳转的页面，使用Selenium等工具模拟浏览器行为，确保能够正确加载最终页面。 ### 重定向处理的注意事项 - **重定向链**：在某些情况下，重定向可能不是单一的，而是形成一个链式结构（例如A → B → C）。因此，建议在处理重定向时记录完整的跳转路径，以便进行调试和分析。 - **超时与循环重定向**：为了避免无限循环或长时间等待，应为重定向设置合理的超时限制，并在检测到重复的URL时终止请求。 - **用户代理与请求头**：某些网站可能会根据请求头中的`User-Agent`字段来决定是否返回重定向响应。因此，在发送请求时，建议模拟浏览器的请求头，以提高爬虫的成功率。 ---