python爬虫—URLError的使用

最新推荐文章于 2024-03-28 15:44:12 发布

原创最新推荐文章于 2024-03-28 15:44:12 发布 · 675 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #开发语言

小白学python 同时被 3 个专栏收录

19 篇文章

订阅专栏

学会就能进大厂

19 篇文章

订阅专栏

零基础学python

18 篇文章

订阅专栏

本文介绍了如何在Python爬虫中使用`urllib`库处理URL错误，特别是`URLError`异常。示例代码展示了当尝试访问不存在的网址（如404错误）或网络超时时，如何捕获并打印相应的错误信息。通过设置`User-Agent`以避免被网站屏蔽，并使用`try-except`结构来处理异常。

python爬虫—URLError的使用,能够看到结果是404,还是超时

from urllib.request import Request,urlopen
from fake_useragent import UserAgent
from urllib.error import  URLError

url ="https://www.baidu123.comasda/"

headers = {
    "User-Agent":UserAgent().chrome

}
try:
    request = Request(url,headers= headers)

    response = urlopen(request)

    print(response.read().decode())

except URLError as e :
    if e.args == ():
        print(e.code)#404和超时
    else:
        print(e.args[0].errno)
    print(e)