定向爬虫--爬取中国大学排名（bs4和requests库）

预览：

功能描述：

输入：大学排名URL链接（这里网址为：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html）

输出：大学排名信息的屏幕输出（排名，大学名称，总分）

定向爬虫：仅对输入的URL进行爬取，不扩展爬取

程序的结构设计：

步骤１：从网络上获取大学排名网页内容

步骤２：提取网页内容中信息到合适的数据结构（从上图可以看出，存储为二维数据结构）

步骤３：利用数据结构展示并输出结果

代码如下：

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')＃等价于tds = tr.find_all('td')
            ulist.append([tds[0].string,tds[1].string,tds[3].string])
def printUnivList(ulist,num):
    #代码优化
    tplt = "{0:^8}\t{1:{3}^10}\t{2:<10}"
    #print("{:<10}\t{:<14}\t{:<10}".format("排名","学校名称","总分"))
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))
    #print("Suc"+str(num))

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20) #只打印20个大学的信息
main()

解释一波：

爬取前首先要了解一下网页的源代码：

我们观察到，所有的大学信息，都封装在一个表格中，表格的标签叫tbody。在tbody中，每一个大学的信息又被封装一个标签中，这个标签叫tr。每个tr中的信息，又被td所包围。所以首先找到tbody，找到所有大学的信息；在找到tr，找到每个大学信息；在找到td，将我们所需要的信息，添加到二维列表中。这样就完成了信息提取工作。

当然了，爬取一个网站或者网页之前，首先要看robots协议：

没有，是可以进行爬取的。

爬取和提取工作做完之后，就是打印输出工作了，这里用到了python中的format函数。

输出的时候可能会遇到中文对齐的问题，出现的主要原因是：当中文字符宽度不够时，采用西文字符填充，但是中西文字符占用宽度不同。

解决方法：采用中文字符的空格填充chr(12288)。具体操作可以看下上面的代码。