5、URL异常处理和HTTP状态码抛出异常

「已注销」

于 2017-03-04 13:54:58 发布

阅读量2.1k

点赞数

分类专栏： Python爬虫文章标签： url 异常处理异常 utf-8

本文链接：https://blog.youkuaiyun.com/jueyings/article/details/60325522

版权

Python爬虫专栏收录该内容

12 篇文章

订阅专栏

本文介绍了一个使用Python的requests库和BeautifulSoup库进行网页爬取的例子，并详细展示了如何处理URL异常及HTTP状态码异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup

#coding:utf-8

#404页
url = 'http://baidu.com'

#URL异常处理
try:
    response = requests.get(url)
except:
    data = {
        'url':url,
        'error_type':'requests.get.error'
    }
    print(data)
else:
    #http状态码异常处理
    try:
        response.raise_for_status()
    except:
        data = {
            'url': url,
            'error_type': 'requests.status.error'
        }
        print(data)
    else:
        response.encoding = 'utf8'
        print(response.text)