python爬取网页学习（requests返回状态码）

最新推荐文章于 2025-03-29 11:23:00 发布
原创 最新推荐文章于 2025-03-29 11:23:00 发布 · 3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍在使用Python的Requests库进行网页抓取时遇到418错误的解决方案，通过设置User-Agent头部信息来避免被服务器拒绝访问。

在用requests库爬取（get）时，要注意返回的值是多少。
即获取是否成功

import requests
res=requests.get('XXX')#XXX代表已定网址
print(res)

会打印出返回的状态码
查询状态码网址
当返回418错误时解决方案：

#新代码
import requests
header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
res=requests.get('XXX',headers=header)
print(res)
学会使用Python爬取网页数据
master_chenchen的博客
10-13 1761
对了，各位看官，小生才情有限，笔墨之间难免会有不尽如人意之处，还望多多包涵，不吝赐教。想象一下，如果你是一名探险家，在一片未知的丛林中寻找宝藏，那么Python就是你手中的指南针和地图，帮助你找到正确的方向，并且安全地将宝藏带回家。你可以把这里当作自己的家，无论是工作之余的小憩，还是寻找灵感的驿站，我都希望你能在这里找到属于你的那份快乐和满足。总之，在享受技术带来便利的同时，也要时刻保持敬畏之心，共同维护良好的网络环境。
【Python学习笔记】：Python爬取音频
bailichen800的博客
07-15 3978
于是就去搜索页面这种有大量id的网页，通过检查HTML代码的方法，找到了要薅羊毛的这个大集合目标网址的HTML代码，然后写爬虫获取网页源代码，通过CSS解析出当中隐藏的一大堆歌名、id等信息，最后再拿这一大堆id组合成完整歌曲链接，去爬想要的一大堆歌曲并且保存到本地。这块是有一点绕，一会是文字一会是属性的，对HTML比较熟的看起来要容易一些，或者对着老师的教程多看几遍，自己多尝试，不懂的问问Kimi。前面我们根据链接直接下载歌曲文件的时候，就用的content方法，直接获取歌曲的二进制文件并保存。
Python爬虫库requests获取响应内容、响应状态码、响应头
12-20
首先在程序中引入Requests模块 import requests 一、获取不同类型的响应内容 在发送请求后，服务器会返回一个响应内容，而且requests通常会自动解码响应内容 1.文本响应内容 获取文本类型的响应内容 r = requests.get('https://www.baidu.com') r.text # 通过文本的形式获取响应内容 '<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta htt
Python 处理 HTTP 响应状态码（requests 库）
最新发布
2501_91226397的博客
03-29 391
HTTP 状态码是一组三位数字代码，用于表示服务器对客户端请求的响应结果。1xx: 信息性状态码，表示请求已被接收，继续处理。2xx: 成功状态码，表示请求已成功被服务器接收、理解和处理。3xx: 重定向状态码，表示需要客户端采取进一步的操作才能完成请求。4xx: 客户端错误状态码，表示请求包含错误的语法或无法完成。5xx: 服务器错误状态码，表示服务器在尝试处理请求时发生错误。处理 HTTP 响应状态码是使用requests库进行网络编程的重要部分。
python爬虫代码中_获取状态码
weixin_30599769的博客
06-05 999
'两种方式' import urllib status=urllib.urlopen("//www.jb51.net").code print status import requests code=requests.get("//www.jb51.net").status_code print code 转载于:https://www.cnblogs.com/YangQingH...
requests返回值
striver_dl的博客
05-05 1368
返回值的操作。 text：获取接口返回值的文本格式 json()：获取接口返回值的json()格式 status_code：返回状态码（成功为：200） headers：返回完整的请求头信息（headers[‘name’]：返回指定的headers内容） encoding：返回字符编码格式 url：返回接口的完整url地址 ...
request模块中，常见的状态码返回含义
我的Python教程
09-16 1204
307 （临时重定向） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。302 （临时移动） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。413 （请求实体过大） 服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。414 （请求的 URI 过长） 请求的 URI（通常为网址）过长，服务器无法处理。通常，这表示服务器提供了请求的网页。
python爬虫爬取网页表格数据
09-20
`raise_for_status()`方法会检查HTTP响应状态码，如果请求失败，它会抛出一个异常。`encoding`属性被设置为`apparent_encoding`，确保正确解码返回的网页文本。 `BeautifulSoup`是另一个关键库，它用于解析HTML或...
python爬取网页时response.status_code返回418，文件读取写入
01-20
当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418 错误描述： 经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The ...
Python IDLE利用requests库爬取网页并检测HTTP状态码
在本篇Python学习笔记中，我们将探讨如何使用Python的requests库进行网页爬取以及如何检测HTTP响应的状态码。首先，让我们熟悉IDLE环境中的基本操作，通过导入requests模块来发送GET请求到指定的URL（例如，百度首页...
python网络爬虫之常见的响应状态码
weixin_43358701的博客
03-01 463
1.200： 请求正常 2.301：永久重定向 3.302：临时重定向，比如在访问一个需要登陆页面的时候，此时若没有登陆，便会重定向到登陆页面。 4. 400：请求的url在服务器上找不到，即url请求错误。 5. 403：服务器拒绝访问，权限不够。 6. 500：服务器内部错误。 ...
Python requests 抓取网页状态返回418(亲测)
gb4215287的博客
06-28 1449
是被网站反爬程序返回的 解决： 添加请求头headers信息 import requests headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'} res = requests.get(url,headers=headers) ——————————————...
python requests库的get()方法使用
热门推荐
qq_44728587的博客
02-23 2万+
requests.get()：这个方法是我们平时最常用构造的方法之一 最通常的方法是通过r=request.get（url）构造一个向服务器请求资源的url对象。这个对象是Request库内部生成的。r返回的是一个包含服务器资源的Response对象，包含了从服务器返回的所有的相关资源。 r=requests.get(url,params,**kwargs) 参数解释： url: 需要爬取的网站地址。 params: url中的额外参数，字典或者字节流格式，是可选参数。 **kwargs :
Python中的requests库中发送post请求返回状态码：400或者415
sumiansusan的博客
12-28 1万+
在代码书写正确的前提下，这里它提示返回来的状态码为：415（对于当前请求的方法和请求的资源，请求中的实体并不是服务器中所支持的格式，请求被拒绝）。后面想起了我们这里还缺少一个headers的参数，也就是信息头。 然后它返回了另外一个错误提示码：400（1.语义有误，当前请求无法被服务器所理解2.请求参数有误）。后面百度了一下，原来是请求实体的格式错了，服务端无法进行解码。 正确的写法就是把data进行json编码。 并且还有优点就是，用了这个json参数，也不需要参数headers 了 ...
python urllib request 登录网站_python urllib request urlopen请求网页返回bytes类型
weixin_39725873的博客
12-03 485
首次调用read()时有返回，之后的调用一直返回b''>>>f=request.urlopen('http://www.baidu.com/')>>>f.read()b'html>\n\n\r...(略)...'>>>f.read()b''因此，从你的第二个f.read()开始，都是返回b''了。这样代码在我这能正确获取网页并解...
Requests基本用法和Response的返回值总结
Fighting Hua
11-08 8188
一、Requests库的2个重要对象：Response（包含爬虫返回的内容）和Request Response对象的属性 r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败 r.text HTTP响应内容的字符串形式，即url对应的页面内容 r.encoding 从HTTP header中猜测的响应内容编码方式( r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式） r.content HTTP响应内容的二进制形式 get方法获取网上资
Python requests请求返回值解读
qq_38085855的博客
03-15 1万+
请求体 常用返回信息：
接口的requests的几种请求方式和response响应返回值
qq_37405087的博客
06-29 1692
接口的requests的几种请求方式和response响应返回值
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值