爬虫实例(二)——中国大学排名爬虫

最新推荐文章于 2023-07-18 19:59:22 发布
原创 最新推荐文章于 2023-07-18 19:59:22 发布 · 4.3k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用Python爬虫技术获取2016年中国大学排名的前20名大学的名称、排名和得分。通过分析网页源代码，确定排名信息位于<tbody>标签内的<tr>标签，具体数据则在<td>标签中。在实现过程中，运用了format()函数处理输出，并解决了中文显示对齐问题。参考了北京理工大学的网络公开课《Python网络爬虫与信息提取》的相关内容。

本文是官途爬取 2016 年中国大学排名的，要爬取的网址：
http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html

这里写图片描述

这里写图片描述

假如我们要爬取的信息是前 20 名大学的大学名称、排名及得分，查看源代码，如下图，可以发现排名的全部相关信息在标签 <tbody>

最低0.47元/天 解锁文章
python——实例：中国大学排名定向爬虫
weixin_66547608的博客
06-11 1397
调用打印大学排名信息的函数，并打印排名前30的大学信息
定向爬虫：中国大学排名定向爬虫（一）
liuxiang1995的博客
11-15 1904
中国大学排名定向爬虫（一）话不多说，直接放码代码很粗糙，还没有优化，而且有一个很有意思的问题没有解决，http://www.zuihaodaxue.cn/zuihaodaxuepaiming2017.html和http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html页面完全一模一样，代码同样可以运行，但是在处理2017排名时，写入的第一列数据排名全部
网络爬虫：中国大学排名定向爬虫
热门推荐
Jingmin Wei's Blog
03-11 2万+
介绍了中国大学排名定向爬虫的实现，更新了2021软科排名网站的数据爬取。
中国大学排名爬虫
01-09
程序对中国大学排行进行爬虫，返回大学的排名、名称等信息
中国大学排名定向爬虫.py
05-20
中国大学排名定向爬虫 先在命令提示符上安装requests库和Beautiful库。选定软科中国最好大学的排名2019的网页，右键查看源代码。查看源代码中是否可以用requests,BeautifulSoup4库提取。打开该页面的Robots协议，确认使用该爬虫可以爬取该网站。最后根据网页的源代码自定义方法撰写代码，并进行数据爬取。
爬虫获取中国大学排行榜
koala_cola的博客
06-25 932
使用了requests库和bs4库 import requests from bs4 import BeautifulSoup import bs4 def getHtmlText(url): #返回response类型的文本属性 try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.
学习笔记：中国大学排名定向爬虫
苏法迪的专栏
12-23 5772
1. 学习视频 中国大学排名定向爬虫: https://www.bilibili.com/video/BV1pt41137qK?p=33&spm_id_from=pageDriver 2. 程序设计 输入：https://www.shanghairanking.cn/rankings/bcur/2021 输出：大学排名信息的打印（排名、大学名称、总分） 技术路线：requests-bs4 定向爬虫：仅对输入URL进行爬取，不拓展爬取 从网络上获取大学排名网页内容 提取网页内容中信息到合适的数据
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
Python爬虫技术是数据获取和网络自动化的重要工具，尤其在大数据时代，它的价值不言而喻。本实例将深入探讨如何使用Python的BeautifulSoup库与urllib.request模块来实现一个基本的网页抓取功能。 首先，`urllib....
一个WEB爬虫的实例——JAVA.docx
12-17
本代码实例展示了一个简单的Java Web爬虫的实现，用于在互联网上抓取网页并搜索特定字符串。爬虫的核心功能包括解析URL、遵循`robots.txt`规则、处理HTTP请求以及存储抓取结果。以下是代码中的关键知识点： 1. **...
爬虫：中国大学排行榜
albb_nb的博客
07-18 2778
网页改版，导致无法爬取整个数据，可以使用Selenium[6]和Chrome WebDriver作为爬虫工具，可以模拟浏览器的行为，通过代码进行控制翻页，然后再进行爬取每一页的数据。然后将每一页的数据加入数组，最后读完后进行数据持久化，将数据存储到电脑中相应的文件中，使用csv格式进行保存。（4）说明爬虫爬取过程中可能涉及到的社会、健康、安全、法律以及文化问题，并并评价和说明分析结果对于社会、健康、安全、法律以及文化的影响，符合道德和社会公共利益，理解应承担的责任。使用 requests 库进行爬取。
中国大学排名爬虫分析
weixin_44420593的博客
12-22 1927
中国大学排名爬虫分析 爬虫：按照一定的规则，自动抓取互联网信息的程序或者脚本，从而获取对于我们有价值的信息。 本文内容是编写一个简单的爬虫，爬取软科大学网上的中国大学排名信息，并进行简单分析。 程序功能描述： 1.屏幕输出大学排名信息，包括排名、大学名称、综合总分。 2.分析2019年、2020年大学排名变化情况 用到的python库： requests、bs4。 步骤一：从网络上获取大学排名网页内容 def getHTMLText(url): try: r = requests.g
中国大学排名的爬取
Pang_ling的博客
02-11 545
实例介绍 功能描述 输入：大学排名的URL链接 输出：大学排名信息的屏幕输出（排名，大学名称，总分） 技术路线：requests-bs4 定向爬虫：进队输入URL进行爬取，不扩展爬取 程序的结构设计 步骤一：从网络上获取页面信息 getHTMLText() 步骤二：提取网页内容中信息到合适的数据结构 fillUnivList() 步骤三：利用数据结构展示并输出结果 printUnivList() ...
爬取中国大学的排名
weixin_40683302的博客
04-23 475
爬取中国大学的排名 进入目标网址，选中目标信息，右键点击检查查看源代码，可以发现所有的大学都封装在标签tbody之下，并且每一个大学都封装在同名标签tr之下。所以可以用for循环遍历所有的tr，提取目标信息。 用bs4解析网页，之后用soup.<标签>访问目标标签，之后用string提取信息。 以下附上实现的代码 import requests from bs4 import...
BeautifulSoup
weixin_44698704的博客
04-23 210
BeautifulSoup库 Beautiful Soup库是解析、遍历、维护“标签树”的功能库，对应一个HTML/XML文档的全部内容 BeautifulSoup库的安装 pip install beautifulsoup4 实战：中国大学排名定向爬取 import requests from bs4 import BeautifulSoup import bs4 def getHTMLT...
爬虫实例——爬取矿石图片
最新发布
03-08
### Python 爬虫示例：抓取矿石图片 为了实现一个能够抓取矿石相关图像的爬虫程序，可以采用多种技术和库来完成这一目标。除了基本的Python语法外，还需要掌握网络协议、抓包技巧以及各种辅助库的应用[^1]。 #### ...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值