python爬虫获取国内大学排名

整体思路

首先需要找到一个可以看排名的网站，同时他允许我们爬取信息。https://www.shanghairanking.cn/rankings/bcur/2020
然后获取到网站信息，对信息提取处理后呈现出来。
获取网站信息需要用到requests库，处理信息用到bs4库。

获取网站信息

requests库作为python的第三方库，用以从网页上获取信息。使用前需要先下载，轮到pip出场了！

pip install requests

requests库提供了get方法像服务器请求资源。get方法第一个参数url传入我们想要获取信息的网址，params为链接中额外的参数。第三个参数为一些控制访问的参数。

requests.get(url, params=None, **kwargs)

例如，如果您想将key1=value1和传递 key2=value2给httpbin.org/get，则可以使用以下代码：

>>> payload = {
   'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get('https://httpbin.org/get', params=payload)
>>>> print(r.url)
https://httpbin.org/get?key2&#