python 学习输出排名后50位大学 DAY4

最新推荐文章于 2025-02-21 20:32:48 发布

盛夏88688

最新推荐文章于 2025-02-21 20:32:48 发布

阅读量1.2k

点赞数

分类专栏： python爬虫

python爬虫专栏收录该内容

10 篇文章

订阅专栏

本博客介绍了一种使用Python爬取指定网页上的中国大学排名的方法。通过requests获取网页内容，利用BeautifulSoup解析HTML，并抓取表格中的排名、学校名称及总分等数据。最终将抓取的数据打印并保存到本地文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup
import bs4
 
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "爬取异常"
 
def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    data = soup.find_all('tr')
    #print(data)
    for tr in data:
        #print(tr)
        tds = tr('td')
        #print(tds)
        if len(tds)==0:
            continue
        ulist.append([tds[0].string,tds[1].string,tds[3].string])
    #print(ulist)
       
 
def printUnivList(ulist, num):
    print("{0:^10}\t{1:{3}^10}\t{2:^10}".format("排名","学校名称","总分",chr(12288)))
    for i in range(551,601):
        u=ulist[i]
        print("{0:^10}\t{1:{3}^10}\t{2:{3}^9.1f}".format(u[0],u[1],eval(u[2]),chr(12288)))
 
def wtxt(ulist,num):
    f = open(r"C:\Users\lenovo\Desktop\中国大学排名.txt",'w+')
    ls = ['排名','学校名称','总分']
    s = "\t\t".join(ls)
    f.write(s+'\n')
    for i in range(num):
        line = ulist[i]
        line = "\t\t".join(line)
        f.write(line+'\n')
    f.close()
        
        
     
def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2018.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 50) # 20 univs
    wtxt(uinfo,50)
main()