百度的关键词接口: http://www.baidu.com/s?wd=keyword
360的关键词接口: http://www.so.com/s?q=keyword
import requests
if __name__ == "__main__":
# 全代码:爬取百度
keyword = 'Python'
try:
kv = {'wd': keyword}
r = requests.get('http://www.baidu.com/s', params=kv)
print(r.request.url) # 输出提交的url
r.raise_for_status()
print(len(r.text)) # 输出长度
except:
print('爬取失败')
# 全代码:爬取360搜索
keyword = 'Python'
try:
kv = {'q': keyword}
r = requests.get('http://www.so.com/s', params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print('爬取失败')
运行结果:
http://www.baidu.com/s?wd=Python
392468
https://www.so.com/s?q=Python
271668
关键词“Python”已经追加到了url中,并爬取了相关页面的源代码。
本文介绍了一种使用Python的requests库来爬取百度和360搜索引擎关键词搜索结果的方法。通过简单的代码示例,展示了如何将关键词'Python'追加到URL中并获取网页源代码,比较了两个搜索引擎返回的页面长度。
3616

被折叠的 条评论
为什么被折叠?



