python爬虫学习笔记

python爬虫——Requests库

r = requests.get(url)
requests库的两个重要对象：Response和Request，其中Response对象包含爬虫所返回的内容。

Response对象的属性：

• r.status_code：HTTP请求的返回状态，200表示连接成功，404表示失败。
• r.text：HTTP响应内容的字符串形式，即url对应的网页内容。
• r.encoding：从HTTP header中猜测的相应内容编码方式。
• r.apparent_encoding：从内容中分析出的响应内容编码方式（备选编码方式）。
• r.content：HTTP响应内容的二进制格式。

Request库的异常处理

• requests.ConnectionError：网络连接错误异常
• requests.HTTPError：HTTP错误异常
• requests.URLRquired：URL缺失异常
• requests.TooManyRedirects：超过最大重定向次数，产生重定向异常
• requests.ConnectTimeout：连接远程服务器超时异常
• requests.Timeout：请求URL超时，产生超时异常

r.raise_for_status()：如果返回不是200，产生异常requests.HTTPError
eg：爬取网页的通用代码框架
import requests def getHTTPText(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() r.encoding = r.appraent_encoding return r.text except: return "产生异常" if __name__ == "__main__": url = "http://www.baidu.com" print(getHTMLText(url)) `

HTTP协议及requests库方法

HTTP协议对资源的操作

• GET：请求获取URL位置的资源
• HEAD：请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
• POST：请求向URL位置的资源后附加新的数据
• PUT：请求向URL位置存储一个资源，覆盖原URL位置的资源
• PATCH：请求局部更新URL位置的资源，即改变该处资源的部分内容
• DELETE：请求删除URL位置存储的资源

Requests库的七个主要方法：

• requests.request():构造一个请求，支撑以下各方法的基础方法。
• requests.get():获取HTML网页的主要方法，对应于HTTP的GET
• requests.head()：获取HTML网页头信息的方法，对应HTTP中的HEAD
• requests.post()：向HTML提交POST请求的方法，对应HTTP的POST
• requests.put()：向HTML网页提交PUT请求的方法，对应HTTP的PUT
• requests.patch()：向HTML网页提交局部修改请求，对应HTTP的PATCH
• requests.delete()：向HTML页面提交删除请求，对应HTTP的DELETE

Requests库的get()方法

requests.get(url,params=None,**kwargs)
url：拟获取页面的url链接
params：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数，可选

Requests库的request()方法

对应格式为：requests.request(method,url,**kwargs)
method：请求方式，对应get/put/post等七种
url：指获取页面的url链接
**kwargs：13个控制访问的参数，均可选：

• params：字典或字节序列，作为参数增加到url中
• data：字典、字节序列或文件对象，作为request的内容