Python爬虫连载4-Error模块、Useragent详解

最新推荐文章于 2025-04-27 22:42:30 发布

python-花猫

最新推荐文章于 2025-04-27 22:42:30 发布

阅读量596

点赞数

分类专栏： python

本文链接：https://blog.youkuaiyun.com/python_doris/article/details/104061200

版权

python 专栏收录该内容

180 篇文章

订阅专栏

本文详细探讨了Python爬虫中遇到的Error模块，重点解析了URLError和HTTPError的区别，以及它们与OSError的关系。同时，介绍了UserAgent的概念，它是服务器识别访问者身份的关键，解释了如何设置和获取不同的UserAgent值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、error

1.URLError产生的原因：
（1）没有网络；
（2）服务器连接失败；
（3）不知道指定服务器；
（4）是OSError的子类

from urllib import request,error



if __name__ == "__main__":

    url = "http://www.baidu.comfdsfdfsf"

    try:

        req = request.Request(url)

        rsp = request.urlopen(req)

        html = rsp.read().decode()

        print(html)

    except error.URLError as e:

        print("URLError:{0}".format(e.reason))

        print("URLError:{0}".format(e))

    except Exception as e:

        print(e)

在这里插入图片描述
2.HTTPError是URLError的一个子类

3.两者区别：HTTPError是对应的HTTP请求的返回码错误，如果返回错误码码是400以上的，则引发HTTPError；URLError对应的一般时网络出现问题，包括url问题；关系区别：OSError-URLError-HTTPError

二、useragent

1.UserAgent：用户代理，简称UA，属于heads的一部分，服务器通过UA来判断访问者身份；常见的UA值，使用的时候可以直接复制粘贴，也可以用浏览器访问的时候抓包。如下面的链接：

https://blog.youkuaiyun.com/wangqing84411433/article/details/89600335

2.设置UA可以通过两种方式：heads\

#Python学习交流群797877325 免费获取系统学习教程
 url2 = "http://www.baiu.com"

    try:

        #使用head方法伪装UA

        headers = {}

        headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; WOW64; 
        Trident/7.0; rv:11.0) like Gecko"

        req2 = request.Request(url2,headers=headers)

        rsp2 =  request.urlopen(req2)

        html2 = rsp2.read().decode()

        print(html2)

    except error.HTTPError as e:

        print("URLError:{0}".format(e.reason))

        print("URLError:{0}".format(e))

    except error.URLError as e:

        print("URLError:{0}".format(e.reason))

        print("URLError:{0}".format(e))

    except Exception as e:

        print(e)

在这里插入图片描述
也可以把

req2 = request.Request(url2,headers=headers)

改成如下形式也可以

req2 = request.Request(url2)

        req2.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64; 
        Trident/7.0; rv:11.0) like Gecko")