知网爬取老师摘要

最新推荐文章于 2024-12-04 08:25:06 发布

cqu_coder

最新推荐文章于 2024-12-04 08:25:06 发布

阅读量742

点赞数 2

分类专栏：爬虫文章标签：运用selenium、xpath爬取重庆大学信管系老师在知网上的前二十

本文链接：https://blog.youkuaiyun.com/Stalla_s_bf/article/details/102422489

版权

这篇博客详细介绍了如何运用selenium和xpath爬取重庆大学信管系老师在知网上前20篇论文的摘要。首先，通过selenium定位到老师的页面，然后获取每篇论文的url，接着利用url提取摘要。最后，将所有标题和摘要保存到txt文件。过程中遇到了iframe定位、网页加载延迟、请求头设置、乱码问题等挑战，逐一进行了解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

运用selenium、xpath爬取重庆大学信管系老师在知网上的前二十篇论文摘要（csdn小白的第一篇博客）

爬取思路如下：

通过selenium定位老师知网页面
找到该老师每篇论文的url
根据url找到对应的摘要
将所有的标题和摘要写入txt文件

接下来逐步实现爬取过程

1. 通过selenium定位老师知网页面

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from lxml import etree
import time
import requests

def find_teacher_and_school(teacher,school='重庆大学'):#定位老师知网界面
    browser = webdriver.Chrome()
    browser.get('https://www.cnki.net')
    browser.find_element_by_xpath('//*[@id="txt_SearchText"]').send_keys(teacher+' '+school)
    browser.find_element_by_xpath('//*[@id="txt_SearchText"]').send_keys(Keys.ENTER)
    time.sleep(2)
    browser.find_element_by_xpath('//*[@id="recommandconLink"]').click()
    time.sleep(5)
    browser.switch_to.frame(