python爬虫 requests.get访问不到网页，用fiddle抓包看到其访问方式是post

最新推荐文章于 2024-04-18 17:38:29 发布
最新推荐文章于 2024-04-18 17:38:29 发布
阅读量4.7k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34220460/article/details/85346021
本文介绍如何利用Fiddler工具抓取网页请求数据，并通过Python的Requests库进行POST请求。重点讲解了如何从Fiddler中获取请求头信息及请求参数，包括user-agent、refer等关键字段。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

对于这个问题，用fiddle抓包看下他的访问网页方式，如下图可以看到，

可以使用requests.post(url,self.data=XXXX,headers=self.header),

self.header看到fiddle中request请求中所需要的信息，一般只需要个user-agent,有时候也需要refer,self.header定义为字典类型。

self.data为post提交所需要得，为字典类型，看第二张图，左边为key,右边为value。如self.datap[type]='0',注意找到每个类型得网页得self.data共性。减少每次都要重新定义self.data和self.header

python爬虫精选09集（IP代理、requests.post参数、破解有道词典）
weixin_38640052的博客
08-22 2749
python爬虫精选09集（IP代理、requests.post参数、破解有道词典）一.IP代理1.常见代理平台2.作用及理解3.代理IP种类4.实现方法4.1普通代理思路4.2普通代理4.3私密代理+独享代理4.4私密代理+独享代理 - 示例代码4.5建立自己的代理IP池 - 开放代理 | 私密代理二.requests.post()参数1.适用场景2.参数类型3.post请求方式特点4.get与post区别三.有道翻译破解1.目标2.实现步骤3.具体实现 一.IP代理 1.常见代理平台 西刺代理、快代理
Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据(2)
2401_84562768的博客
05-02 232
上面的urllib是可对网页发起请求，在我们实际的爬虫应用中，如果频繁的访问一个网页，网站就会识别我们是不是爬虫，这个时候我们就要利用Request来伪装我们的请求头。如果只进行基本的爬虫网页抓取，那么urllib足够用了。requests库是一个常用于http请求的模块，可以方便的对网页进行爬取，是学习python爬虫比较好的http请求模块，比urllib库更加简洁，并且自带json解析器。掌握了它，Cookies、登录验证、代理设置等操作都不是事儿。
Python使用requests模块访问HTTPS网站报错`certificate verify failed`
jgw2008的专栏
08-14 1058
Python使用requests模块访问HTTPS网站报错`certificate verify failed` 使用requests模块访问HTTPS网站报错： SNIMissingWarning: An HTTPS request has been made, but the SNI (Subject Name Indication) extension to TLS is not available on this platform. This may cause the server to p
使用python爬虫Fiddler无法显示抓包信息
GAOXIANG626的博客
08-26 874
问题是这样的，我最近在写一些网址的爬虫，但最近突然fiddler在python爬取网页时不抓包了，使用浏览器浏览网页，fiddler可以正常抓，有大神知道是怎么回事吗？ fiddler已经重新下载过，还是不行。。。。 ...
【fiddler小知识】fiddler抓不到pycharm发送的请求解决办法
yunlive的博客
07-14 3670
很多人会遇到fiddler抓取不到python发送的请求。我也遇到了，通过pychrarm发送的请求，fiddler没有抓到。 一般常见解决办法： 方法1：卸载fiddler，重新安装就可以了。（亲测有效，推荐此法） 方法2：fiddler关闭，重启路由器 方法3：不要用虚拟环境 ...
python中requests模块有些网站不能访问解决方案
热门推荐
NH4L的博客
07-30 1万+
python学习中爬取网站视频时由于python本身不能地址限制的原因，不能直接用response = requests.get(url)获取到网页源代码，进而无法爬取网站信息。 我以猫眼网为例： 访问猫眼代码如下： import requests from requests.exceptions import RequestException def get_one_page(url): ...
Python 接口测试或爬虫中Http请求的Header头快速构造，解决“Fiddler中请求可以，Python发送请求失败等问题排查和问题原因说明”
Benjamin 优快云博客
11-01 8458
前言 “1 + 1 = 2” 耳濡目染，从而引出下方： url + request headers + request method + request body(data) = response headers + response data 遇见问题，发现问题，定位问题并解决问题，静下心看看公式慢慢调试，理解其“构造原理”。 常见问题： 1、Python 3.6.4 调用requests库中headers定义字段值发生变化 “梗”待解...
fiddler抓取不到python-request的包？InsecureRequestWarning: Unverified HTTPS request is being made to host ‘
12-23
问题一：在使用python-requests做接口请求时，fiddler抓取不到request请求？ 解决方式：在request.get()\requet.post()里面加参数：verify=False；目的是：移除SSL认证；此时，fiddler就可以抓取到python-requets ...
3.Python网络爬虫—常用工具Fiddler的使用教程
weixin_63740705的博客
04-18 845
网络爬虫是一种自动获取网页内容的程序，在Python中，常用的网络爬虫工具主要包括Python编程语言、PyCharm集成开发环境（IDE）、浏览器和Fiddler。Python是一种通用的编程语言，广泛用于网络爬虫的开发。它提供了丰富的库和模块，如Requests、BeautifulSoup和Scrapy，这些库可以帮助我们发送HTTP请求、解析HTML页面以及提取所需的数据。
python爬虫token_python爬虫登陆 带Cookie token
weixin_39814093的博客
12-04 1321
用python写爬虫整的很方便，弄了个模拟登陆，登陆后带上token和cooke请求页面就拿gitlab练下手了，这个还是有一丢丢麻烦的一、登陆界面获取隐藏域中的token，构建表单的时候需要获取到这个_gitlab_session，登陆校验时需要带着这个信息准备好token和cookie，当然还需要一个能登陆用户名和密码二、登陆验证登陆验证就是构建表单，不知为何还要传一个utf-8参数按说应该可...
python访问网页被拒_Python Requests.get访问网页403错误
weixin_39614228的博客
12-09 4267
Pycharm 2018.1, Python 3.6, 通过Pycharm的File->Settings->Plugins搜索Requests安装上去。import requestsr = requests.get(这段代码尝试访问雪球网站，结果会返回403错误代码表示forbidden。因为没加上http请求header，估计时雪球网站有一定的反爬虫策略。于是我构造了一个如下的hea...
python 模拟用户点击浏览器_浏览器行为模拟之requests、selenium模块
weixin_40002336的博客
11-24 7671
requests模块前言：通常我们利用Python写一些WEB程序、webAPI部署在服务端，让客户端request，我们作为服务器端response数据；但也可以反主为客利用Python的requests模块模拟浏览器行为，向其他站点发送request，让其他站点response数据给我们；一、requests模块介绍requests可以模拟浏览器的请求，比起之前用到的urllib，reques...
爬虫request.get（）出现错误
zyf233333的博客
08-06 590
python爬虫request.get（）出现错误
服务器不支持get请求,收到错误HTTP状态405-此URL不支持HTTP方法GET，但从未使用过`get`吗？...
weixin_42365688的博客
07-31 1175
我是一个初学者，正在用数据库制作一个小的注册程序，但是我正在尝试运行它，但它给了我一些错误，请帮助：HTTP Status 405 - HTTP method GET is not supported by this URLtype Status reportmessage HTTP method GET is not supported by this URLdescription The sp...
Python requests解决打开抓包工具也能运行自动化脚本，及取消控制台输出的InsecureRequestWarning警告
adorable_的博客
09-29 768
  在运行Python+requests+pytest接口自动化脚本时，如打开了抓包工具，会报错：HTTPSConnectionPool(x):Max retries(Caused by SSLError)。   其中最简单的解决方案就是关闭抓包工具，当然还有使用代码移除SSL认证，实现方式为： import requests response = requests.get(url='', verify=False)   使用requests设置移除SSL认证的时候，运行用例后控制台会报以下警告： 虽然
pycharm 第二天
qq_43413133的博客
02-12 255
1.用python批量下载图片 搜素想要的图片，右键查看网页源代码，直接（ctrl+F）搜索objURL 只需要爬取objURL就得到原图了 利用正则表达式 results = re.findall('"objURL":"(.*?)",',html) 来得到需要的图片 1.获取图片url代码： # 获取图片url连接 def get_parse_page(pn,name): for i...
python网页打不开_Python请求库有时无法打开浏览器可以打开的网站
weixin_39525307的博客
02-21 2450
我有一个Python项目，我需要浏览许多站点并对其进行解析。我注意到，requests即使在Chrome和FF中打开网站的情况很好，在多个情况下，也无法正确获取网站内容。例如，在我的代码中：def get_site_content(site):try :content = requests.get(site, allow_redirects = True)content = content.tex...
python 爬虫requests只有第一次访问数据是全的，怎么解决这个问题
最新发布
10-17
在Python爬虫中，如果你使用`requests`库访问网页并且发现后续请求的数据并不完整，这通常是因为浏览器会有一些机制（如缓存、Cookie、session管理等）来优化性能，导致`requests`默认的行为并未模拟完整的浏览器行为。 为了解决这个问题，你可以尝试以下几个步骤： 1. **禁用或清除浏览器缓存**：有些网站会对特定用户设置缓存策略，使得每次请求返回的是已存储的数据而不是实时更新的内容。在`requests`中，虽然没有直接设置禁止缓存的功能，但可以指定发送`Cache-Control`头部为`no-cache`，或者让程序每次运行都从头开始抓取。 ```python import requests response = requests.get('http://example.com', headers={'Cache-Control': 'no-cache'}) ``` 2. **处理cookies**：某些网站会通过cookies保持用户状态，需要在请求中带上cookie信息。可以使用`requests.cookies.RequestsCookieJar`来管理cookies。 ```python jar = requests.cookies.RequestsCookieJar() # 如果有已经获取到的cookie，这里添加 jar.set('your_cookie_key', 'your_cookie_value') response = requests.get('http://example.com', cookies=jar) ``` 3. **模拟浏览器**：可以使用`Session`对象，它会维护连接状态并自动处理cookies。创建一个新的`Session`实例，并在其中发送请求。 ```python session = requests.Session() response = session.get('http://example.com') ``` 4. **设置User-Agent**：有些网站会检查User-Agent来识别是否为爬虫，设置合理的User-Agent可以帮助你避免被封IP。 ```python headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get('http://example.com', headers=headers) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值