Python 网络爬虫（一、requests 库）

一、requests 库实现自动网络请求，自动爬取 HTML 页面。

简单例子：（注：所有例子均在python 3.6 运行 ）

import requests                         # 导入 requests 库
url = "http://www.baidu.com"
r = requests.get(url)                   # 获取页面内容
r.encoding = r.apparent_encoding        # 编码方式转换
print (r.text)                          # url 对应的页面内容,为字符串形式

这里实现了对百度首页的信息爬取，核心为 request 库的 get() 方法。

二、Requests 库的7个主要方法：

requests.request(method,url,**kwargs)                # 构造一个请求，为以下个方法的基础
requests.get(url,params=None,**kwargs) （常用）       # 获取 HTML网页的主要方法
requests.head(url,**kwargs)                          # 获取 HTML 网页头信息的方法
requests.post(url, data=None,json = None, **kwargs)  # 向HTML网页提交POST 请求的方法
requests.put(url, data=None, **kwargs)               # 向 HTML 提交PUT请求的方法
requests.patch(url, data=None, **kwargs)             # 向 HTML 提交局部修改请求
requests.delete(url, **kwargs)                       # 向 HTML 页面提交删除请求

各个参数的意义：
1、method : 请求方式，对应 get/put/post 等 7 种方法；
2、url : 拟获取页面的 url 链接；
3、params : 字典或者字节序列，作为参数增加到 url 中
4、data : 字典、字节序列或者文件对象，作为Request 的内容
5、**kwargs：控制访问的参数，均为可选项，具体包括：

json :    json格式的数据，作为Request的内容
Headers : 字典，HTTP 定制头
cookies : 字典或者 CookieJar, Request 中的 cookie
auth :    元组，支持 HTTP 认证功能
files :   字典类型，传输文件
timeout : 设定超时时间，单位秒
proxies : 字典类型，设定访问代理服务器，可以增加登陆认证
allow_redirects : True/False, 默认为 True, 重定向开关
stream :  True/False, 默认为 True, 获取内容立即下载开关
verify :  True/False, 默认为 True, 认证 SSL 证书开关
cert :    本地SSL证书路径

其中，只有requests.get(url,params=None,**kwargs)比较常用。

三、r = requests.get(rul)获取的对象属性

Response 对象的属性由以下例子给出：

#-*- coding:utf-8 -*-
# 爬去京东商品信息
import requests
def GetHTMLText(url):
    try:
        r = requests.get(url,timeout=30)    # 获取网页内容，并设置超时时间
        print r.status_code                # HTTP 请求的放回状态，200 表示链接成功，404 表示失败
        r.raise_for_status()                # 判断r.raise_code 是否等于200。如果不是200，可以直接产生异常requests.HTTPError
        print r.encoding                   # 从 HTTP  header 中猜测的相应内容编码方式
        print r.apparent_encoding          # 从内容中分析出的响应内容编码方式（可看作是r.encoding 的备选编码方式）
        #print r.content                    # HTTP 相应内容的二进制形式
        print r.text                       # HTTP 响应内容的字符串形式，即 url 对应的网页内容
    except:
        print"there are something wrong"
if __name__ == '__main__':
    url = "https://item.jd.com/6946605.html"
    GetHTMLText(url)

四、使用requests 库爬取网页的通用代码框架及案例

4.1、通用代码框架：

try:
    r = requests.get(url,timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return (r.text)
except:
    return "产生异常"

4.2、 学会改变 user-agent 信息，即改变 headers

通过 headers 字段，模拟浏览器向亚马逊网站发出HTTP请求

#-*- coding:utf-8 -*-
import requests
# 爬去亚马逊商品信息:
def GetHTMLText(url):
    try:
        #kv = {'user-agent':'Mozilla/5.0'}
        #r = requests.get(url,headers=kv)
        r = requests.get(url)
        print r.request.headers
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        print r.headers
        #print r.text
    except:
        print"there are something wrong"

if __name__ == '__main__':
    url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
    GetHTMLText(url)

4.3、网络图片爬取与存储

网络图片的链接格式应为：http://www.example.com/picture.jpg
例如：来自国家地理的图片：http://www.nationalgeographic.com.cn/

#-*- coding:utf-8 -*-
import requests
import os

def GetPicture(url):
    root = "F://picture//"
    path = root + "abc.jpg"                   # 对爬取得图片命名
    try:
        if not os.path.exists(root):         # 判断路径是否存在
            os.mkdir(root)
        if not os.path.exists(path):         # 判断文件是否存在
            r = requests.get(url)
            with open(path,'wb') as f:
                f.write(r.content)              # r.content 返回内容的二进制形式
                f.close()
                print("文件保存成功")
        else:
            print("文件已经存在")
    except:
        print("爬取失败")

if __name__ == '__main__':
    url = "http://image.ngchina.com.cn/2018/0424/20180424121849734.jpg"
    GetPicture(url)

获取网页的内容只是爬虫的第一步，如何提取有用信息，是网页爬虫的重要内容。

——摘自：中国大学MOOC 《Python网络爬虫与信息提取》 嵩天老师课件