python爬取中国大学排名

最新推荐文章于 2024-07-11 22:29:31 发布

leogoforit

最新推荐文章于 2024-07-11 22:29:31 发布

阅读量1k

点赞数 3

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/leogoforit/article/details/105012969

版权

本教程基于北京理工大学的【Python网络爬虫与信息提取】课程，目标是爬取最好大学网站上的前50名大学信息。在实际操作中，原始代码需要稍作调整，通过添加缺失的部分并处理好空格和下划线问题，才能在PyCharm中获得正确输出。最终成功实现了爬取和展示大学排名的目标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

教程来自：【Python网络爬虫与信息提取】.MOOC. 北京理工大学
目标：爬取最好大学网前50名大学
代码如下：

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print("产生异常")
        return ""