python获取重定向url

最新推荐文章于 2023-07-07 15:41:47 发布
原创 最新推荐文章于 2023-07-07 15:41:47 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器人 #python

在尝试通过QQ机器人使用CQ码发送抖音视频时遇到发送失败的问题。问题在于抖音视频链接在访问时会自动重定向。为了解决这个问题，采用Python的requests库获取重定向后的URL。通过设置http_headers模拟浏览器行为，尝试获取实际视频链接。代码中包含了尝试请求和打印响应URL的过程。

序言：
本次需求发生场景如下：
我想用QQ机器人通过CQ码的形式发送抖音视频，但是当我获得抖音视频链接并发送的时候一直发送失败。
我将抖音视屏放在浏览器观看发现在按下回车的一刹那url地址栏中的地址会自动重定向，故此我得到的视频链接只是外层。这边用python获取重定向后的路径

http_headers = {
                        'Accept': '*/*',
                        'Connection': 'keep-alive',
                        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'
                    }
 
    try:
        resp = requests.get(url=item, headers=http_headers,timeout=10)
    except Exception as e:
        continue
    print("resp", resp.url)
JAVA获取重定向地址URL的两种方法
weixin_42551921的博客
07-10 7194
要禁止自动重定向写一个继承SimpleClientHttpRequestFactory的类，重写prepareConnection方法，把该属性设置为false；1、使用HttpURLConnection。2、使用RestTemplate。
python-某短视频平台视频链接重定向
weixin_43846708的博客
02-28 612
某短视频平台分享视频时，可以复制链接，得到的链接是一种短链接，是经过平台特殊处理过的链接，通常我们手机短信里收到的营销推广链接也大多数是短链接，短链接原理有兴趣的可自行去了解下。
HttpURLConnection获取重定向目标的URL
D_MM_的博客
07-07 1452
处理方法：当 HTTP 响应返回状态码为 3xx 重定向时，服务器通常会在响应头中包含 "Location" 字段，指示客户端应该重定向到的新的URL地址。这只是一些常见的状态码示例，HTTP 协议还定义了其他状态码用于特定的情况。起因：客户给了一个外网图片路径，需要将外网图片上传到对象存储中，但是发现上传到对象存储中了，但是下载下来的图片是破损的。或其他相关库进行 HTTP 请求时，可以根据返回的状态码来判断请求的结果，并根据需要采取相应的处理措施。3xx：重定向状态码，表示需要进一步操作才能完成请求。
python获取重定向url_python中检测url重定向到的地址的例子
weixin_39800387的博客
12-20 515
2016年最长的假期也过了，这周连上7天班，之前还觉得挺恐怖，没想到这周真是要忙死的节凑，还真没觉得多漫长，一晃明天就周五了，干运维的就是突发的事情多，冷不丁的不知道哪里就冒出个问题，就够搞半天的，最近领导有一批站点，需要检测这些站点是否重定向到了其它url上，因为站点太多，这种事就只能通过脚本来实现了，当然我还是用个人最喜欢的request模块来完成这个任务，基本原理就是判断站点返回的statu...
python语言的主网站网址-python如何获得一个url地址对应的跳转后的最终网址
weixin_37988176的博客
10-29 776
用selenium+phantonjs...#!/usr/bin/python2.7from twisted.internet import reactorfrom twisted.internet.defer import Deferred, DeferredList, DeferredLockfrom twisted.internet.defer import inlineCallbacksf...
后端重定向到一个前端url链接，前端怎么获取这个url链接上的参数，拿到参数以后再加载对应路由页面
sunshineDD_DD的博客
04-12 2973
这里的 router 可以是前端框架提供的路由功能，或者自己实现的路由工具函数。具体实现可能会因为所用的前端框架或者路由工具而有所不同，但是以上步骤是通用的。使用 window.location.search 方法获取URL的查询参数部分，即问号后面的部分。在 Vue 中，可以在组件的 created 生命周期钩子函数中获取 URL 参数。
python获取重定向地址以及图片下载
Headmaster_Tan的博客
10-27 771
代码仅供参考，场景不同的请自行更改 本代码解决的场景 有一个会重定向的链接，重定向的链接是一张随机的图片，将该图片下载到本地，循环下载更多的图片 本代码中图片会下载到和py文件相同的目录下 需要安装：pip install requests 代码如下： import os import time import requests def get_image_url(): url = '会重定向的地址' headers = { 'User-Agent': 'Mozill
Python爬虫后获取重定向url的两种方法
weixin_39568072的博客
05-21 4871
方法（一） # 获得重定向url from urllib import request # https://zhidao.baidu.com/question/681501874175782812.html url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGy
python 重定向获取真实url的方法
09-20
当调用`get_real_url('your_initial_url')`时，该函数会尝试获取初始URL，如果遇到重定向或网络问题，会自动处理并返回最终的URL。请注意，这个方法适用于大多数情况，但并不是所有HTTP重定向都能被正确处理，因为...
Python爬虫如何获取重定向之后的url
一条小黑龙的博客
11-14 2327
这个是用抖音做测试的，使用response的url属性，就可以获取重定向的地址 import requests url='https://v.douyin.com/J2EarSN/' resp=requests.get(url).url print(resp)
python执行javascript网页_javascript – 创建一个执行python脚本的超链接(或按钮),然后在脚本完成时重定向...
weixin_39914868的博客
11-23 261
解决这个问题的一个简单方法是使用简单的Web框架,如Flask来构建您的系统的Web部件.在您的魔术链接的请求处理程序中,您需要生成脚本并跟踪它.一个简单的方法来查看您的脚本是否完成并将其传递给您的用户是定期发送一个ajax请求以检查完成.所以例如Flask网站可能看起来像：import threadingimport subprocessimport uuidfrom flask import ...
node如何获取重定向后的url
lin09132的博客
11-19 761
node通过puppeteer获取重定向后的url
Python 3.5 HTTP服务器端重定向测试脚本
cteng的专栏
06-04 2695
#!/usr/bin/python3 import sys import socketserver import socket import http.server import threading import io # Use supplied port if sys.argv[1:]: port = int(sys.argv[1]) else: port = 8889
python爬虫获取跳转后的响应url
热门推荐
weixin_42240678的博客
11-24 1万+
** 在爬虫中经常会遇到网页给的某个url是跳转前的url,这类请求url一般很长,假如数据库建表时字段限制,则会无法入库,从而导致拿不到数据,看了下网上其他教程,较为繁琐.我在这提供一种思路及代码片段供大家参考. 浏览器向请求url发送请求,如获取到正常的响应,则一般相应状态码时300~305,随后会重定向到另一url(响应url),想到这一点其实就很好解决了. 可打印出相应头内容,...
python爬虫解决网页重定向问题
weixin_33708432的博客
08-01 1537
笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向(Redirect)就是通过各种方法（本文提到的为3种）将各种网络请求重新转到其它位置（URL）。每个网站主页是网站资源的入口，当重定向发生在网站主页时，如果不能正确处理就很有可能会错失这整个网站的内容。 以下列出遇到的3种重定向情况（使用python2.7+reque...
js实现HTML自动刷新页面和跳转（重定向)
逸尘的专栏
10-23 8966
实现自动HTML刷新页面和跳转页方法有很多，主要分为两类，一类为使用html head标签，另一类为使用js强制刷新或跳转。1. 使用js 刷新当前页面，3秒执行一次。<script language="JavaScript"> function myrefresh() { window.location.reload(); } setTimeout('myrefresh()'
Python网页重定向
最新发布
10-10
<think>我们参考了5个引用，这些引用主要讨论了Python中处理HTTP重定向的不同方法。用户的问题是："我想了解Python实现网页重定向的方法"。根据引用，我们可以总结如下： 1. 引用[1]和[3]提到了使用Python内置的`http.server`模块进行简单的重定向。 2. 引用[3]还提到可以使用Web框架（如Flask或Django）来实现重定向。 3. 引用[4]和[5]讨论了在爬虫中处理重定向的问题，其中引用[5]详细说明了使用`requests`库时如何处理重定向（自动处理以及通过响应对象的属性判断）。 因此，我们可以将Python实现网页重定向的方法分为两类： - 服务器端重定向：即作为Web服务器的一部分，主动将客户端的请求重定向到另一个URL。这可以通过简单的HTTP服务器模块（如`http.server`）或者Web框架（如Flask、Django）来实现。 - 客户端重定向（主要是爬虫场景）：在客户端（如爬虫）处理服务器返回的重定向响应。这里通常使用`requests`库，它可以自动处理重定向，同时也提供了手动处理的机制。 下面我们详细说明这两类方法。 ### 服务器端重定向的实现 #### 1. 使用`http.server`模块 Python内置的`http.server`模块可以用于创建简单的HTTP服务器。我们可以自定义请求处理程序来实现重定向。 示例代码： ```python from http.server import HTTPServer, BaseHTTPRequestHandler class RedirectHandler(BaseHTTPRequestHandler): def do_GET(self): # 将所有的请求重定向到新的URL self.send_response(302) # 302状态码表示临时重定向 self.send_header('Location', 'http://www.example.com/new-url') self.end_headers() # 启动服务器 server_address = ('', 8000) httpd = HTTPServer(server_address, RedirectHandler) httpd.serve_forever() ``` 在这个例子中，所有访问该服务器的请求都会被重定向到`http://www.example.com/new-url`。 #### 2. 使用Flask框架 Flask是一个轻量级的Web框架，它提供了重定向函数`redirect()`。 示例代码： ```python from flask import Flask, redirect app = Flask(__name__) @app.route('/old') def old_page(): return redirect('/new', code=302) # 重定向到/new @app.route('/new') def new_page(): return 'This is the new page!' if __name__ == '__main__': app.run() ``` 访问`/old`时，会自动重定向到`/new`。 #### 3. 使用Django框架 Django中可以使用`redirect()`函数或者`HttpResponseRedirect`类实现重定向。 示例代码： ```python from django.http import HttpResponseRedirect from django.urls import reverse def old_page(request): # 使用HttpResponseRedirect重定向 return HttpResponseRedirect(reverse('new_page')) # 假设'new_page'是新的URL的名称 def new_page(request): return HttpResponse('This is the new page!') ``` ### 客户端处理重定向（爬虫场景） #### 使用`requests`库 在爬虫中，我们经常需要处理重定向。`requests`库默认会自动处理重定向（对于GET和HEAD请求）。如果需要控制重定向行为，可以使用`allow_redirects`参数。 示例1：自动重定向（默认） ```python import requests response = requests.get('http://example.com/old-url') # 如果发生重定向，最终响应的url是重定向后的url print(response.url) # 输出重定向后的URL print(response.history) # 重定向历史，是一个响应列表 ``` 示例2：禁止重定向 ```python import requests response = requests.get('http://example.com/old-url', allow_redirects=False) print(response.status_code) # 302, 301等重定向状态码 print(response.headers['Location']) # 重定向的目标URL ``` 示例3：手动处理重定向 如果需要更复杂的处理，可以禁用自动重定向，然后根据响应头中的Location字段手动请求新的URL。 ```python import requests session = requests.Session() # 使用会话以保持Cookie等信息 response = session.get('http://example.com/old-url', allow_redirects=False) if response.status_code in (301, 302, 303, 307): redirect_url = response.headers['Location'] # 确保重定向URL是绝对URL，可能需要拼接 new_response = session.get(redirect_url) # 使用new_response进行处理 ``` ### 总结 Python实现网页重定向的方法主要有： 1. **服务器端重定向**： - 使用内置`http.server`模块自定义处理程序。 - 使用Web框架（如Flask、Django）提供的重定向功能。 2. **客户端处理重定向**（爬虫场景）： - 使用`requests`库，默认自动处理重定向。 - 通过设置`allow_redirects=False`禁用自动重定向，手动处理重定向逻辑。 在实际应用中，服务器端重定向是主动设置的重定向规则，而客户端处理重定向则是作为客户端（如浏览器或爬虫）对服务器返回的重定向响应进行处理。 §§相关问题§§ 1. 在Flask中如何实现永久重定向（301）？ 2. 使用`requests`库时，如何获取重定向的历史记录？ 3. 在Django框架中，重定向有哪些不同的方法？ </think>### Python实现网页重定向的方法 在Python中，实现网页重定向主要有两类场景：**服务器端重定向**（作为服务提供方）和**客户端重定向处理**（如爬虫场景）。以下是核心实现方法： --- #### 一、服务器端重定向（Web开发场景） 1. **使用内置`http.server`模块** 创建自定义请求处理器，通过设置HTTP状态码和`Location`头部实现重定向： ```python from http.server import HTTPServer, BaseHTTPRequestHandler class RedirectHandler(BaseHTTPRequestHandler): def do_GET(self): self.send_response(302) # 302: 临时重定向 self.send_header('Location', 'https://new-url.com') # 目标URL self.end_headers() server = HTTPServer(('localhost', 8000), RedirectHandler) server.serve_forever() ``` 2. **通过Web框架实现** - **Flask框架**（使用`redirect()`函数）： ```python from flask import Flask, redirect app = Flask(__name__) @app.route('/old-page') def old_page(): return redirect('https://new-url.com', code=302) # 可指定301/302 ``` - **Django框架**（使用`HttpResponseRedirect`）： ```python from django.http import HttpResponseRedirect def old_page(request): return HttpResponseRedirect('/new-page/', status=301) # 永久重定向 ``` --- #### 二、客户端重定向处理（爬虫场景） 1. **自动处理重定向（默认行为）** 使用`requests`库时，默认自动跟随重定向： ```python import requests response = requests.get('http://old-url.com') print(response.url) # 打印最终URL（重定向后） print(response.status_code) # 最终状态码（如200） ``` 2. **手动控制重定向** 禁用自动重定向并自行处理： ```python response = requests.get('http://old-url.com', allow_redirects=False) if response.status_code in (301, 302, 303): new_url = response.headers['Location'] print(f"重定向到: {new_url}") # 手动发起新请求 new_response = requests.get(new_url) ``` 3. **HTML元标签重定向处理** 处理`<meta http-equiv="refresh">`类型的重定向： ```python from bs4 import BeautifulSoup import requests html = requests.get('http://old-url.com').text soup = BeautifulSoup(html, 'html.parser') meta = soup.find('meta', attrs={'http-equiv': 'refresh'}) if meta: content = meta['content'] wait, new_url = content.split(';')[0], content.split('=')[1] response = requests.get(new_url.strip()) ``` --- #### 关键区别总结 | 场景 | 技术方案 | 典型状态码 | |--------------------|----------------------------|-------------| | **服务器端重定向** | `http.server`/Flask/Django | 301, 302 | | **客户端自动处理** | `requests`（默认） | 200（最终） | | **客户端手动处理** | 解析`Location`头部 | 301, 302 | | **HTML元重定向** | BeautifulSoup解析 | 无状态码 | > 注：服务器端重定向由**服务端主动触发**，客户端重定向是**对服务器响应的被动处理** [^1][^2][^3][^5]。 --- ### 相关问题 1. 如何用Python检测网页是否包含重定向？ 2. 在Flask/Django中如何实现条件重定向（如用户登录检测）？ 3. 处理HTTPS重定向时有哪些安全注意事项？ 4. 如何模拟浏览器行为处理JavaScript重定向？ [^1]: Python实现HTTP重定向处理 [^2]: Python中处理HTTP重定向 [^3]: 在Python中HTTP重定向 [^4]: python爬虫解决网页重定向问题 [^5]: python爬取重定向的网页
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值