使用bs4爬取软科大排名并保存在数据库

最新推荐文章于 2024-08-02 00:20:46 发布

原创

最新推荐文章于 2024-08-02 00:20:46 发布 · 1.5k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #python #爬虫

本文介绍了如何利用Python的requests、bs4和pymysql库爬取软科大学排名，并将数据存储到数据库中。首先，通过requests获取网页，然后解析tbody下的信息，提取所需数据如名称、省市、类型和总分。接着，在数据库中创建相应表结构，将数据插入。最后展示了存储后的数据库内容。

1.使用bs4爬取软科大排名，首先我们要使用到三个库文件，requests库、bs4和pymysql；

2.获取网页

#获取网页
def getHTMLText(url):#获取URL信息，输出内容
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return""

3.解析网页，在开发者模式中我们发现所有需要的信息都在tbody下面，所以我们先遍历tobody子节点，获取到我们想要的a、tr和td，再通过string方式找到想要的元素。

#解析网页
def parser(html):
    soup = BeautifulSoup(html,"lxml")#将页面中的元素获取为一个soup对象
    for tr in soup.find('tbody').children: 
        if isinstance(tr,bs4.element.Tag):#如果tr标签的类型不是bs4库中定义的tag类型，则过滤掉
            a = tr('a')#将所有的tr标签存为一个列表类型
            tds = tr('td')#将所有的td标签存为一个列表类型
            ulist.append([
            a[0].string.strip(),
            tds[2].text.strip(),
            tds[3].text.strip(),
            tds[4].text.strip(),
            ])

4.存储到数据库，首先我们要在数据中建立一个表，我这里为名称、省