建筑兔零基础自学记录74|爬虫实战搜索网站-5

这次我们来尝试百度/360搜索关键词提交~

百度的关键词接口：
http://www.baidu.com/s?wd=keyword 
360的关键词接口：
http://www.so.com/s?q=keyword

可以先尝试搜一下

 使用params对搜索命令添加目标关键词

使用len(r.text)打印获取信息长度  

 百度搜索代码

import requests

keyword='Python'
try:
    kv = {'wd': keyword,'user-agent':'Mozilla/5.0'}
    r=requests.get('http://www.baidu.com/s',params=kv ,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.request.url)
    print("发送的请求头：", r.request.headers)
    print(len(r.text))
except:
    print ("爬取失败")

同理可以获得360搜索代码

小结：

目前requests里我们已经用过两个参数了

都是通过键值对的方式进行利用

kv = {'wd': keyword,'user-agent':'Mozilla/5.0'}
r=requests.get('http://www.baidu.com/s',params=kv ,headers=kv)