爬虫——Python爬百度学术论文的标题、摘要，并保存在本地

最新推荐文章于 2025-04-08 15:54:06 发布

沼泽深处的王

最新推荐文章于 2025-04-08 15:54:06 发布

阅读量4.1k

点赞数 5

分类专栏：爬虫文章标签： python 数据挖掘

本文链接：https://blog.youkuaiyun.com/zeshen123/article/details/109293563

版权

只能爬标题，部分摘要（链接页显示啥就是啥），也可以爬年份，来源，作者，下载链接（代码中我注释掉了）

import requests
from bs4 import BeautifulSoup
from urllib.request import quote

#"百度学术是用utf-8编码的，因而这里汉字以这个形式编码
search = input('请输入关键词：')
kwen = search.encode('utf-8') #将汉字，用utf格式编码，赋值给gbkkw
f = open('百度学术.txt','w',encoding ='utf-8') #创建txt格式文件，方便等会存储
#添加请求头，模拟浏览器正常访问，避免被反爬虫
headers={'user-agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
for x in range(200): #想要爬取多少页数据
    url = 'http://xueshu.baidu.com/s?wd='+quote(kwen)+'&pn='+str(x*10)+'&tn=SE_baiduxueshu_c1gjeupa&ie=utf-8&sc_f_para=sc_tasktype%3D%7BfirstSimpleSearch%7D&sc_hit=1'
    res = requests.get(url,headers