【Python爬虫学习】中国大学排名定向实战

Johnny_sc

于 2020-07-21 13:23:14 发布

阅读量292

点赞数

分类专栏：爬虫文章标签： python

本文链接：https://blog.youkuaiyun.com/Johnny_sc/article/details/107486422

版权

本文介绍了使用Python的requests和BeautifulSoup库定向爬取中国大学排名网站的流程，包括如何从HTML中提取排名信息，处理tbody标签中的数据，并通过format函数格式化输出前num个大学的排名。主要知识点涉及format输出模板和中文对齐问题的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、基本架构

用到的库：requests、bs4(BeautifulSoup)

1.定向爬取中国大学排名网的网页信息

requests定向爬取网页信息

import bs4
import requests
from bs4 import BeautifulSoup

def getHTMLTEXT(url):
    """通过最好大学排名网站url获得网页Html信息"""
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        print("网页信息爬取成功！")
        return r.text
    except:
        print("爬取失败")