中国高校排名爬虫（2021年版）

最新推荐文章于 2023-07-18 19:59:22 发布

焰与光

最新推荐文章于 2023-07-18 19:59:22 发布

阅读量897

点赞数 1

分类专栏： Python 文章标签：爬虫 python 开发语言

本文链接：https://blog.youkuaiyun.com/eternalresolve/article/details/121002228

版权

Python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何使用Python爬虫技术从指定URL抓取上海高校的排名信息，包括学校名称、省市、总分等，并展示了数据清洗和格式化的步骤。重点在于BeautifulSoup库在HTML解析中的应用，以及提取关键教育数据的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from bs4 import BeautifulSoup
import requests
import bs4
import re
def getHTMLText(url):#获取网页具体内容
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
def fillUnivList(ulist, html):#提取网页目标内容并用ulist存储
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):#如果tr标签的类型不是BS4中的就滤掉
            tds = tr('td')#td标签作为一种类型
            ulist.append([tds[0].div.string.strip(), tds[1].a.string,str(tds[2].text).strip(), str(tds[4].contents[0]).strip()])
    return ulist
def printUnivList(ulist,num):
    tplt="{:^10}\t{:^10}\t{:^10}\t{:^10}"
    print(tplt.format("排名","学校","省市","总分",chr(12288)))#对于原样例增加了省市选项
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],u[3]))
def main():
    uinfo = []
    url = "https://www.shanghairanking.cn/rankings/bcur/2021.html"
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,30)#30 school
main()

# 注：这里要注意的是，要注意使用strip()函数，
# 它的作用是用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。
# 但该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。
# 用在此处可以使爬取的内容，在格式化输出时达到对齐的效果。

原视频