用requests爬取百度搜索数据

yue492008824

于 2016-03-29 23:23:43 发布

阅读量5.9k

点赞数

分类专栏： python

本文链接：https://blog.youkuaiyun.com/yue492008824/article/details/51010340

版权

python 专栏收录该内容

11 篇文章

订阅专栏

本文展示了如何使用Python的requests库来发送HTTP请求，通过URL参数进行百度搜索，并将搜索结果页面保存为HTML文件。利用Python的强大功能简化了网页抓取过程，适合初学者和进阶开发者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

</pre><pre name="code" class="python">#-*- coding:utf-8 -*-

import requests

import sys

reload(sys)
sys.setdefaultencoding('utf-8')

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0'}
payload = {'wd':u'程序员'}

url = 'http://www.baidu.com/s'


r = requests.get(url, params=payload, headers=headers, timeout=5)
print r.url
print r.status_code

fp = open('search2.html', 'w')
for line in r.content:
	fp.write(line)
fp.close()