python爬虫(beginning)之requests&异常 1

最新推荐文章于 2021-12-23 16:34:56 发布

gong?

最新推荐文章于 2021-12-23 16:34:56 发布

阅读量226

点赞数

CC 4.0 BY-SA版权

分类专栏： python#基础

本文链接：https://blog.youkuaiyun.com/gongranr/article/details/104347368

python#基础专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何使用Python的Requests库进行网页抓取，包括设置请求、处理响应及编码，同时展示了处理异常和常见属性的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在最开始——一个通用requests的框架

import requests

def getHtmlText(url):
    try:
        r = requests.get(url,timeout = 30)
        
        #如果状态不是200，引发HTTPError异常
        r.raise_for_status() 
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"
if __name__ == "__main__":
    url = "http://ww.baidu.com"
    print(getHtmlText(url))

begin -install resests

$ pip install resuests

import requests

在这里插入图片描述

response对象中常见属性

![在这里插入图片描述](https://img-blog.csdnimg.cn/2020021619453

请求的基本流程

在这里插入图片描述

理解 response编码方式

在这里插入图片描述

import requests
r = requests.get("http://www.baidu.com")
r.status_code
print(r.text)
print(r.encoding)
print(r.apparent_encoding)
r.encoding = r.apparent_encoding
print(r.text)

#理解requests 异常
在这里插入图片描述

一个包含通用代码框架的异常

import requests

def getHtmlText(url):
    try:
        r = requests.get(url,timeout = 30)
        
        #如果状态不是200，引发HTTPError异常
        r.raise_for_status() 
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"
if __name__ == "__main__":
    url = "http://ww.baidu.com"
    print(getHtmlText(url))