中国大学排名的爬虫实战

中国大学排名的爬虫实战（结合信息组织与提取，两种方式实现）

功能描述

• 输入：大学排名url链接
• 输出：大学排名信息的屏幕输出（排名，大学名称，总分）
• 技术路线：requests-bs4
• 定向爬虫：仅对输入url进行爬取，不扩展爬取

我们使用requests-bs4提取信息时，提取到的只是静态脚本信息，只是展示在网络页面上的。

程序的结构设计

• 步骤1：从网络上获取大学排名网页内容 getHTMLText()
• 步骤2：提取网页内容中信息到合适的数据结构 fillUnevList()
• 步骤3：利用数据结构展示并输出结构 printUnivList()

用于理解上述的程序设计结构，为视频讲解中的源代码(2016版)：

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_stasus()
        r.encoding = r.apparend_encoding
        return r.text
    except:
        return ""
    
    
def fillUnivList(ulist,html)：
	soup = BeaurifulSoup(html,"html.parser")
    # 解析html代码中的tbody标签，获得子标签
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            # 在tr标签中找到td标签，并将td标签中所需要的东西添加到列表里
            tds = tr('td')
            ulist.append([[tds[0],tds[