用Python爬取大学的信息,你上的大学排多少呢?

Python爬取中国大学MOOC课程信息 问题:获取中国大学MOOC平台的课程信息,包括开课学校、课程类别(标签)、课程名称、课程评分、评价人数和已参加课程人数。 思路: 1.进入中国大学MOOC首页,点击“学校”,进入学校页面(可直接获取单个url) 2.获取页面上所有学校url,保存到列表中(当前页上有所有学校url) 3.依次进入学校页面,获取所有课程的url(不止一页,需要翻页操作) 4.进入课程页面,获取信息,存入列表 需要注意的就是几处点击操作,以及准确找到和提取目标文本需要注意的就是几处点击操作,以及准确找到和提取目标文本 那 阅读详情

你知道我们中国有多少个高校吗,你知道它的排名吗,你知道它在哪个地址吗,如果你不知道,那么下面Python爬虫教你知道!

获取网页

#这个只用到了requests 和 bs4
#爬取大学排名
import requests
from bs4 import BeautifulSoup as bs
import time
def grthtml(url):
    demo=requests.get(url)
    demo.encoding=demo.apparent_encoding#编码解码,常用方法
    demo=demo.text#返回一个text文本信息
    return(demo)

encoding是从http中的header中的charset字段中提取的编码方式,若header中没有charset字段则默认为ISO-8859-1编码模式,则无法解析中文,这是乱码的原因
apparent_encoding会从网页的内容中分析网页编码的方式,所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。

解析网页

def listhtml(ulist,html):
    soup=bs(html,"html.parser")
    soup=soup.tbody
    for tr in soup("tr"):
        tds=tr("td")
        ulist.append([tds[0].string,tds[1].string,tds[2].string])

打印信息

def pmhtml(ulist,num):
    print("2020年中国大学排名")
    print('{0:^10}\t{1:{3}^7}\t{2:^10}'.format("排名","校名","地址",chr(12288)))
    for i in ulist[0:num]:
        print("{0:^10}\t{1:{3}^10}\t{2:^10}".format(i[0],i[1],i[2],chr(12288)))

主函数

if __name__=="__main__":
    time.sleep(3)
    url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2020.html"
    html=grthtml(url)
    uinfo=[]
    listhtml(uinfo,html)
    num=int(input())

看看效果吧

代码进阶

可以思考一下,如果我把所有查找到的信息储存为一个字典,然后自己可以查找,学校,自动就出来它的一系列信息,这样才更方便!这个工作就留给大家了,你们做好了,可以来文章下面打卡留言哟!!!!

非常简单的一个小程序

 

python爬虫实战案例(爬取大学排名Top500、爬取58同城的房价信息、爬取小说《红楼梦》) 一、爬取网站大学排名Top500 1、选择要爬取目标网站 中国大学排名_中国教育在线 (eol.cn) 2、分析网站所需数据的源码 3、编写python爬虫程序 # -*- codeing = utf-8 -*- from bs4 import BeautifulSoup # 网页解析,获取数据 import re # 正则表达式,进行文字匹配` import urllib.request, urllib.error # 制定URL,获取网页数据 import xlwt # 进行excel操 阅读详情

相关推荐

全球所有大学的信息(人人网爬取)

全球所有大学的信息,包括大学所在的国家、城市、大学名等

爬虫实训——使用python爬取大学排名并且存入数据库及推荐系统

##数据源全都来自软科大学排名官网-如有冒犯请联系删除。

Porter_zhang的博客 1983

Java网络爬虫爬取大学研究生信息

1. 面向接口编程的概念和原理 2. 爬虫基本概念,使用的技术手段 3. Jsoup的基本用法 4. (选学)Java多线程相关知识

高考成绩发布!教你用Python爬取高校数据:看看哪些学校专业更受宠

今天各地的2023年高考成绩陆续马上可以查询了,考生的志愿填报也随即提上日程。俗话说,七分考,三分报。想必同学们一定不想因高分低报而浪费分数,也不想低分高报而与大学失之交臂。**那么历年的高考人数、录取率如何?哪个地区的高校最多?都有什么专业最热门?**今天我们就用数据来聊一聊。

m0_59164520的博客 3323

利用爬虫获取高校及专业录取分数线的python代码

随着高考的落幕,大家也该估分选大学,突然发现中国教育在线的估分选大学系统开始收费了(3G时代是免费的),所以自己就写了爬虫获取高校各个专业历年在河南的录取分数线、排名,以及大学的基本信息。

TI官方PSpice for TI安装避坑指南:从申请Key到解决器件搜索栏空白(附详细步骤)

本文详细介绍了PSpice for TI的安装与配置全流程,包括申请Key、解决器件搜索栏空白等常见问题。通过分步指南和实战避坑技巧,帮助工程师高效完成安装并优化性能,确保电路仿真工具的正常使用。

weixin_29299807的博客 1104

【Python爬虫五十个小案例】爬取全国高校名单

随着网络技术的发展,数据抓取已经成为我们日常工作的一部分,尤其是在需要获取大量信息时,爬虫技术显得尤为重要。在这篇文章中,我们将学习如何爬取全国高校名单,获取各高校的基本信息,并将其保存到本地。无论你是数据分析师,还是想了解全国高校的分布情况,本篇文章都会为你提供一个完整的爬虫示范。本文介绍了如何通过 Python 爬虫爬取全国高校名单,并将数据保存为 CSV 文件。我们利用了requests获取网页内容,解析 HTML,最后用pandas存储和处理数据。

null18的博客 2299

【ES】--Elasticsearch的分词器深度研究

分词器是ik_max_word,会将“龙马家书”拆分为“龙马”、“马家”、“家书”。然后filter配置的是edge_ngram_filter,在上面拆分的token词组基础上,按照edge_ngram_filter规则进一步拆分。从结果看:分词器是keyword,filter支持edge_ngram_filter,字符过滤器支持tsconvert【简繁体】。分词器是keyword,表明是不进行分词,但filtet中edge_ngram_filter是按照布长方式拆分token,所以得到如此结果。

寻梦友的博客 2474

用python爬虫爬取2020年中国大学排行

用python爬虫爬取2020年中国大学排行 话不多说,直接上代码: from bs4 import BeautifulSoup # 网页解析 获取数据 import re # 正则表达式 进行文字匹配 import urllib.request, urllib.error # 制定url 获取网页数据 import xlwt def main(): baseurl = "http://m.gaosan.com/gaokao/265440.html" datalist = getD

guoxuying的博客 1734

告别网络卡顿!保姆级教程:用国内镜像源5分钟搞定ESP32开发环境(Arduino IDE)

本文提供了一份保姆级教程,教你如何利用国内镜像源在5分钟内快速搭建ESP32开发环境(Arduino IDE),告别网络卡顿问题。教程详细介绍了镜像源配置、开发板安装、测试程序烧录等步骤,并包含与巴法云对接的实战案例,帮助开发者高效完成物联网项目。

weixin_42536058的博客 594

【HAL库-STM】智能温控按键小风扇【胎教级教学】

硬件设备:DHT11,0.96寸oled屏,二/三/四线风扇(不挑),面包板 、f10的精英板等等。当人在的风扇面前时可以自行控制风扇,不在面前时又想开风扇就让他温控自行开启,(在这里有一个想法就是加上蓝牙和wifi控制的功能能够远程遥控,这个如果做的再全一点就要自主研发是一个多功能app,这里没有做。针对这个dht11,我一开始是卡在了这个check函数里面,一直是我给完dht11低电平和高电平后,dht11不回复我低电平和高电平,这个不是我的问题,当时代码是没毛病的,这个点一直卡着我。吐血五天实现小成品

weixin_52451652的博客 1741

Python实战:使用DrissionPage库爬取高考网大学信息

DrissionPage 库使用起来确实比 Selenium 库方便很多,再也回不去啦。哈哈哈。本文首发在“程序员coding”公众号,欢迎关注与我一起交流学习。

stormhou的博客 3363

MATLAB极坐标伪彩色圆图绘制之polarPcolor函数

polarPcolor函数介绍 我们经常在论文或期刊上看到如下图这种以色调冷暖代表数值大小的极坐标圆图, 而function [varargout] = polarPcolor(R,theta,Z,varargin)可以很好的帮助我们快速绘制这类极坐标圆图。它非常适合雷达或激光雷达的平面位置指示器。使用polarPcolor函数时,我们只需根据手中数据构造相应的二维矩阵Z即可,十分便捷。varargin值为绘制模式选择。R值为半径坐标一维矩阵,theta值为角坐标一维矩阵。 代码示例 这里使用了海洋表面耀光

qq_19512613的博客 1万+

Python爬虫入门实例三之爬取软科中国大学排名

本篇为python爬虫入门简单实例,通过对软科网站上大学排名的爬取,帮助小伙伴们排一些坑,同时更好的理解定向爬取的含义及format格式化输出的使用。

Mr.Q_LuLu的博客 1万+

行为预测模型:Social LSTM与Graph Neural Networks

行为预测模型:Social LSTM与Graph Neural Networks ,人工智能,计算机视觉,大模型,AI,本文围绕行为预测模型Social LSTM与Graph Neural Networks展开,介绍了两者的基础概念、原理、应用场景,还对比了它们在优势、劣势和适用场景上的不同,最后给出了相应的代码示例。Social LSTM基于LSTM,通过社交池化层处理多智能体交互;图神经网络处理图结构数据,靠消息传递获取信息,二者各有侧重,适用于不同场景。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 15万+

5、Visual Studio Code:强大的编码与文件管理功能

本文详细介绍了 Visual Studio Code 的强大编码与文件管理功能,涵盖代码导航、引用查找、符号重命名、实时代码分析、IntelliCode 提示、文件和文件夹操作等内容。通过功能对比、流程图和实际开发案例,展示了 VS Code 如何提升开发效率和代码质量,适用于各类编程语言和项目开发场景。

water的专栏 134

python爬虫——爬取大学排名信息

1. 结果图 2. 这次爬取的网址请点击传送门 传送门 3. 在该网址选择查院校,其他都是默认 4. 这次爬取的信息主要是下图红框的内容,在浏览器开发者中,点击XHR就可以发现这个接口,接口的内容都有我们需要的信息。 5. 先构建请求头,请求头直接复制过来了 # 构建请求头 headers = { 'Accept': '*/*', 'Accept-Encoding': 'g...

小爬虫的博客 5929

KNN算法实现数据分类及matlab完整代码

其基本思想是:对于一个未知样本,找出与该样本距离最近的k个已知样本,然后根据这k个样本的类别来确定该未知样本的类别。在本文中,我们采用iris数据集,该数据集包含四个属性:花萼长度、花萼宽度、花瓣长度、花瓣宽度,以及三个类别:山鸢尾、变色鸢尾、维吉尼亚鸢尾。KNN算法具有简单、直观、易于理解等特点,适用于多分类和二分类问题,但其计算复杂度随着样本数量的增加而增加,也容易受异常值影响。在KNN算法中,常用的距离函数有欧氏距离、曼哈顿距离等。(2)选择距离最近的k个样本,并根据它们的类别来确定未知样本的类别。

qq_39605374的博客 1517

中国大学MOOC课程信息爬取与数据存储

版权声明:本文为博主原创文章,转载 请注明出处:https://blog.youkuaiyun.com/sc2079/article/details/82016583 10月18日更:MOOC课程信息D3.js动态可视化 9月2日更:中国大学MOOC课程信息之数据分析可视化二 9月1日更:关于MOOC的课程信息数据分析,参看:中国大学MOOC课程信息之数据分析可视化一 !!!注意:当前代码已过时(网...

sc2079的博客 1万+

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Python按照你的检索爬取天津大学图书馆书籍信息

Python按照你的检索爬取天津大学图书馆书籍信息爬取步骤网页解析代码 完全自己手写的代码,入门级水平把。对于静态HTML网页爬取来说相对简单,现在对于动态编写JavaScript还不知道如何处理。由于天津大学图书馆书籍相关信息都写在静态html中,爬取还是很简单的。 爬取步骤 1.通过requests.get()得到网页内容 2.通过BeautifulSoup类可以对网页进行解析,筛选你所需要的...

未知艺术家的博客 4636

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【爬虫】爬取大学排名信息

【题目】用urllib.request和BeautifulSoup库方法定向爬取给定网址(http://www.shanghairanking.cn/rankings/bcur/2020 )的(一个页面的)数据,屏幕打印爬取的大学排名信息。 打印示例: 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 852.5 2……

Jack 4181

Python爬虫实战之爬取饿了么信息

闲来无事,爬取大学城周边的饿了么夜晚外卖信息打发时间。 数据来源平台:饿了么 地点选择:新乡大学城(夜晚) 抓取地址:https://www.ele.me/place/wtw0tgvd7yr 抓取数据:店名(name)和店的口味(flavors)。 1.首先观察网页结构,需要登录饿了么官网,F12查看 找到以restaurants开头的信息,并双击打开 2.这时,可以观察到网页的结构信息,这时就...

王大阳的博客 1万+

用Python爬取大学的信息

你知道我们中国有多少个高校吗,你知道它的排名吗,你知道它在哪个地址吗,如果你不知道,那么下面Python爬虫教你知道! 获取网页 #这个只用到了requests 和 bs4 #爬取大学排名 import requests from bs4 import BeautifulSoup as bs import time def grthtml(url): demo=requests.get(url) demo.encoding=demo.apparent_encoding#编码解码,常用方法

迷茫与徘徊只会让你陷入绝境,欢迎私信博主,带你开始提升变现价值! 4259

python爬取中国大学排名信息

运行环境:python3.6.0 功能:爬取个中国大学排名玩玩,网页链接:http://gaokao.afanti100.com/university.html。 将爬取的结果保存至文本,上传至数据库,保存各院校校徽。 注意: 因为该网站收录了部分信息,所以信息可能不是很完整,但是一个信息都不放过。 内容仅供参考。 运行截图: 运行程序: # -*- coding: ...

GLOBE TREKKER 2526

(python)1:1爬取并保存大学学院官网教师信息,简单可视化直观分析

相信每个大学的学院在自己的官网上都有介绍自己学院教师的信息,可是自己的大学生涯却又接触不到自己学院的所有老师,再次对学院的官网下手啦,这次想分析一下学院教师的男女比例啦,等等一系列的东西…当然,其实我感觉这是一个有意思的事情,大家也可以爬取自己学院的官网信息,可视化分析试一试???? 爬取学院官网教师信息1. 分析目标网页2. 暴力爬取表格存储的教师信息2.1 创建工程2.2 创建Spider2.3 暴力爬取表格信息2.3.1 分析如何爬取2.3.2 编写spider中的parse()方法3. 将数据存入数

cc的博客 4662
上一篇: 用 Python 实现朋友圈中的九宫格图片,一秒搞定!
下一篇: python爬取图片(根据用户需求输入想爬取的内容及页数)!
pythonlaodi
博客等级 码龄6年 286粉丝 244原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值