Python爬取新版湖经官网首页导航栏内容并生成CSV文件_写一个爬虫程序,爬取湖北科技学院官方网站中,各个二级学院的学院简介,并以学院名-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_28979869/article/details/94046711

本报告介绍了一种使用Python网络爬虫技术从湖北经济学院网站抓取导航栏下所有栏目文字内容的方法，并将其整理成表格形式保存为CSV文件。报告详细记录了实验环境、内容、目的、步骤及代码，展示了最终爬取结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、题目

运用所学网络爬虫技术，爬取新版湖北经济学院学校主页（http://www.hbue.edu.cn）导航栏内包括学校概况、教学单位、组织机构...招生就业、信息公开等所有栏目下的全部文字内容，设计成表格形式并保存为CSV文件。

以教学单位为例（如下图所示），需将教学单位下的所有学院名称爬取下来，其他栏目同样要求。

二、报告要求

报告具体应满足如下要求：

1.报告采用统一封面，每个人填写报告题目、学院、班级、姓名、学号、时间等信息；

2.报告应包括摘要、实验环境、实验内容、实验目的、实验步骤、实验代码、实验结果（最终爬取、存储的表格附后）

3.报告最后要撰写课程学习小结

4.参考文献（如果有）

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = 'http://www.hbue.edu.cn/'
html = requests.get(url).content
soup = BeautifulSoup(html, 'html.parser')
Hbue = pd.DataFrame({})
#循环读取导航栏中的每一项
for i in range(1,8):
    hbue = soup.find_all('li', {'class': 'menu-item i'+ str(i) +''})[0]
    spans = hbue.find_all('a')
    a = [i.string for i in spans[0:]]
    data = pd.DataFrame({
        str(a[0]): a[1:]
    })
    Hbue = pd.concat([Hbue, data],axis=1)
    Hbue.append(data)
#生成csv
Hbue.to_csv('hbue.csv')

记得要加载类库