python爬取网页学习（requests返回状态码）

最新推荐文章于 2025-03-29 11:23:00 发布

原创最新推荐文章于 2025-03-29 11:23:00 发布 · 3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 专栏收录该内容

9 篇文章

订阅专栏

本文介绍在使用Python的Requests库进行网页抓取时遇到418错误的解决方案，通过设置User-Agent头部信息来避免被服务器拒绝访问。

在用requests库爬取（get）时，要注意返回的值是多少。
即获取是否成功

import requests
res=requests.get('XXX')#XXX代表已定网址
print(res)

会打印出返回的状态码
查询状态码网址
当返回418错误时解决方案：

#新代码
import requests
header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
res=requests.get('XXX',headers=header)
print(res)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Sy_Faker

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python中获取网页状态码的两种方法

HackNebulaZ的博客

09-27

1148

在Python中，我们经常需要获取网页的状态码来检查网页的可用性或者判断请求是否成功。本文将介绍两种常用的方法来获取网页的状态码，分别是使用。库则是Python内置的解决方案，不需要额外安装库，且在处理网络错误时更加宽松。根据实际需求，选择适合的方法来获取网页的状态码。发送请求时，如果遇到网络错误或者无效的URL，会抛出异常。库在遇到网络错误或者无效的URL时不会抛出异常，而是返回相应的状态码。是Python内置的库，提供了处理URL和HTTP请求的功能。使用该方法，我们可以轻松地获取网页的状态码。

学会使用Python爬取网页数据

master_chenchen的博客

10-13

1761

对了，各位看官，小生才情有限，笔墨之间难免会有不尽如人意之处，还望多多包涵，不吝赐教。想象一下，如果你是一名探险家，在一片未知的丛林中寻找宝藏，那么Python就是你手中的指南针和地图，帮助你找到正确的方向，并且安全地将宝藏带回家。你可以把这里当作自己的家，无论是工作之余的小憩，还是寻找灵感的驿站，我都希望你能在这里找到属于你的那份快乐和满足。总之，在享受技术带来便利的同时，也要时刻保持敬畏之心，共同维护良好的网络环境。

参与评论您还未登录，请先登录后发表或查看评论

Python爬虫库requests获取响应内容、响应状态码、响应头

12-20

首先在程序中引入Requests模块 import requests 一、获取不同类型的响应内容在发送请求后，服务器会返回一个响应内容，而且requests通常会自动解码响应内容 1.文本响应内容获取文本类型的响应内容 r = requests.get('https://www.baidu.com') r.text # 通过文本的形式获取响应内容 '<!DOCTYPE html>\r\n<html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta htt

python request获取结果

weixin_43480575的博客

01-15

3845

如何获取request的结果

Python 处理 HTTP 响应状态码（requests 库）

最新发布

2501_91226397的博客

03-29

391

HTTP 状态码是一组三位数字代码，用于表示服务器对客户端请求的响应结果。1xx: 信息性状态码，表示请求已被接收，继续处理。2xx: 成功状态码，表示请求已成功被服务器接收、理解和处理。3xx: 重定向状态码，表示需要客户端采取进一步的操作才能完成请求。4xx: 客户端错误状态码，表示请求包含错误的语法或无法完成。5xx: 服务器错误状态码，表示服务器在尝试处理请求时发生错误。处理 HTTP 响应状态码是使用requests库进行网络编程的重要部分。

python爬虫代码中_获取状态码

weixin_30599769的博客

06-05

999

'两种方式' import urllib status=urllib.urlopen("//www.jb51.net").code print status import requests code=requests.get("//www.jb51.net").status_code print code 转载于:https://www.cnblogs.com/YangQingH...

python爬虫爬取网页表格数据

09-20

`raise_for_status()`方法会检查HTTP响应状态码，如果请求失败，它会抛出一个异常。`encoding`属性被设置为`apparent_encoding`，确保正确解码返回的网页文本。 `BeautifulSoup`是另一个关键库，它用于解析HTML或...

python爬取网页时response.status_code返回418，文件读取写入

01-20

当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418 错误描述：经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The ...

Python IDLE利用requests库爬取网页并检测HTTP状态码

在本篇Python学习笔记中，我们将探讨如何使用Python的requests库进行网页爬取以及如何检测HTTP响应的状态码。首先，让我们熟悉IDLE环境中的基本操作，通过导入requests模块来发送GET请求到指定的URL（例如，百度首页...

【Python学习笔记】：Python爬取音频

bailichen800的博客

07-15

3978

于是就去搜索页面这种有大量id的网页，通过检查HTML代码的方法，找到了要薅羊毛的这个大集合目标网址的HTML代码，然后写爬虫获取网页源代码，通过CSS解析出当中隐藏的一大堆歌名、id等信息，最后再拿这一大堆id组合成完整歌曲链接，去爬想要的一大堆歌曲并且保存到本地。这块是有一点绕，一会是文字一会是属性的，对HTML比较熟的看起来要容易一些，或者对着老师的教程多看几遍，自己多尝试，不懂的问问Kimi。前面我们根据链接直接下载歌曲文件的时候，就用的content方法，直接获取歌曲的二进制文件并保存。

requests返回值

striver_dl的博客

05-05

1368

返回值的操作。 text：获取接口返回值的文本格式 json()：获取接口返回值的json()格式 status_code：返回状态码（成功为：200） headers：返回完整的请求头信息（headers[‘name’]：返回指定的headers内容） encoding：返回字符编码格式 url：返回接口的完整url地址 ...

request模块中，常见的状态码返回含义

我的Python教程

09-16

1204

307 （临时重定向）服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。302 （临时移动）服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。413 （请求实体过大）服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。416 （请求范围不符合要求）如果页面无法提供请求的范围，则服务器会返回此状态代码。414 （请求的 URI 过长）请求的 URI（通常为网址）过长，服务器无法处理。通常，这表示服务器提供了请求的网页。

python网络爬虫之常见的响应状态码

weixin_43358701的博客

03-01

463

1.200：请求正常 2.301：永久重定向 3.302：临时重定向，比如在访问一个需要登陆页面的时候，此时若没有登陆，便会重定向到登陆页面。 4. 400：请求的url在服务器上找不到，即url请求错误。 5. 403：服务器拒绝访问，权限不够。 6. 500：服务器内部错误。 ...

Python requests 抓取网页状态返回418(亲测)

gb4215287的博客

06-28

1449

是被网站反爬程序返回的解决：添加请求头headers信息 import requests headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'} res = requests.get(url,headers=headers) ——————————————...

python requests库的get()方法使用

热门推荐

qq_44728587的博客

02-23

2万+

requests.get()：这个方法是我们平时最常用构造的方法之一最通常的方法是通过r=request.get（url）构造一个向服务器请求资源的url对象。这个对象是Request库内部生成的。r返回的是一个包含服务器资源的Response对象，包含了从服务器返回的所有的相关资源。 r=requests.get(url,params,**kwargs) 参数解释： url: 需要爬取的网站地址。 params: url中的额外参数，字典或者字节流格式，是可选参数。 **kwargs :

Python中的requests库中发送post请求返回状态码：400或者415

sumiansusan的博客

12-28

1万+

在代码书写正确的前提下，这里它提示返回来的状态码为：415（对于当前请求的方法和请求的资源，请求中的实体并不是服务器中所支持的格式，请求被拒绝）。后面想起了我们这里还缺少一个headers的参数，也就是信息头。然后它返回了另外一个错误提示码：400（1.语义有误，当前请求无法被服务器所理解2.请求参数有误）。后面百度了一下，原来是请求实体的格式错了，服务端无法进行解码。正确的写法就是把data进行json编码。并且还有优点就是，用了这个json参数，也不需要参数headers 了 ...

python urllib request 登录网站_python urllib request urlopen请求网页返回bytes类型

weixin_39725873的博客

12-03

485

首次调用read()时有返回，之后的调用一直返回b''>>>f=request.urlopen('http://www.baidu.com/')>>>f.read()b'html>\n\n\r...(略)...'>>>f.read()b''因此，从你的第二个f.read()开始，都是返回b''了。这样代码在我这能正确获取网页并解...

Requests基本用法和Response的返回值总结

Fighting Hua

11-08

8188

一、Requests库的2个重要对象：Response（包含爬虫返回的内容）和Request Response对象的属性 r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败 r.text HTTP响应内容的字符串形式，即url对应的页面内容 r.encoding 从HTTP header中猜测的响应内容编码方式( r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式） r.content HTTP响应内容的二进制形式 get方法获取网上资