Python学习笔记_使用Python爬学校老师信息

本文记录了一次使用Python爬虫抓取某大学学院主页上教师信息的过程。通过提供的链接,代码成功获取并保存了教师信息,包括在控制台的日志输出、生成的文件夹结构以及教师信息的截图和文件打开效果展示。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 以某大学学院主页为例:http://homepage.hrbeu.edu.cn/irisweb/manage/resume/search/index-subject
  2. 代码如下:
import requests
from lxml import etree
from bs4 import BeautifulSoup
import re
import os


def makedir(filePath):
    E = os.path.exists(filePath)
    if not E:
        os.makedirs(filePath)
        os.chdir(filePath)
        print('文件夹<' + filePath + '>创建成功!')
    else:
        print('文件夹已存在!')


# 哈工程学院主页
xueYuanUrl = 'http://homepage.hrbeu.edu.cn/irisweb/manage/resume/search/index-subject'
# 哈工程学院老师
teacherUrl = 'http://homepage.hrbeu.edu.cn/irisweb/manage/resume/search/ajaxSearchBySubjectNewPage'
# 对应教师详细信息
teacherDetailUrl = 'http://homepage.hrbeu.edu.cn/web/'

filePath = 'F:/python/teacherInfo/'

webSide = requests.get(xueYuanUrl)
webSide.encoding = webSide.apparent_encoding
selector = etree.HTML(webSide.text)

# 获取学院名称及学院编码
xueYuanNames = selector.xpath('//*[@id="subject_detail_div"]/ul/li/a/text()')
xueYuanCodes = selector.xpath('//*[@id="subject_detail_div"]/ul/li/a/@code')
xueYuanInfo = dict(zip(xueYuanCodes, xueYuanNames))
# print(xueYuanInfo)

for key, value in xueYuanInfo.items():
    params = {
   
   'subject_code': key, 'subject_name': value}
    xueYuanFilePath = filePath + value + '/'
    makedir(xueYuanFilePath)
    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值