python爬虫基本命令

爬虫环境搭建教程

import  requests             #导入requests包 

requests的基本方法 

r=requests.get('http://www.baidu.com')   #发送request请求，返回response
r.status_code     #检查http请求返回的状态，200即成功
r.text            #http响应内容的字符串形式，即url对应页面的内容
r.encoding        #从http header中猜测的响应内容编码方式
r.apparent_encoding   #从内容分析出的响应内容编码方式（备选编码方式）
r.content         #http响应内容的二进制形式

requests 异常处理方法

requests.ConnectionError      #网络连接错误异常，DNS查询失败，拒绝连接
requests.HTTPError            #HTTP错误异常
requests.URLRequired          #URL缺失异常
requests.TooManyRedirects     #超过最大重定向次数，产生重定向异常
requests.ConnectTimeout       #连接远程服务器超时异常
requests.Timeout              #请求URL超时，产生超时异常    （整个过程，包括返回信息）
r.raise_for_status()          #如果不是200，产生requests.HTTPError

requests库的七个主要方法

requests.request()            #构造一个请求，支撑以下方法的基础
requests.get()                #获取HTML网页的主要方法，对应HTTP的GET
requests.head()               #获取HTML网页头信息的方法，对应于HTTP的head
requests.post()               #向HTML提交POST请求，对应HTML中的POST
requests.put()                #向HTML提交PUT请求，对应HTML中的PUT
requests.patch()              #向HTML网页提交局部修改请求，对应HTTP的PATCH
requests.delete()             #向HTML页面提交删除请求，对应于HTTP的DELETE