Python获取中国大学MOOC某课程评论及其参与人数

爬取慕课网课程参与人数与学员评论
最新推荐文章于 2025-05-29 09:55:45 发布
原创 最新推荐文章于 2025-05-29 09:55:45 发布 · 2k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫

该文章介绍了如何使用Python的requests库从慕课网爬取课程的参与人数和学员评论。首先，通过获取首页的csrfKey，然后构造请求获取课程详情页的参与人数。接着，解析评论接口，通过循环获取多页评论数据，并将结果保存到文本文件中。

在这里插入图片描述

文章目录

前言

  1. 本系列文章来源于真实的需求
  2. 本系列文章你来提我来做
  3. 本系列文章仅供学习参考

一、需求

1、课程参加人数

在这里插入图片描述

2、课程学员名称及其评论

在这里插入图片描述

二、分析

首先查看网页源代码是否有需要的数据

  • 课程参加人数

在这里插入图片描述

  • 课程学员名称及其评论
    在这里插入图片描述

F12 打开浏览器工具进行抓包分析

  • 课程学员名称及其评论
    在这里插入图片描述

通过浏览器快速重新发起接口请求（Replay XHR),测试发送成功

在这里插入图片描述

分析接口参数

  • csrfKey 动态
  • courseId 课程id 固定
  • pageSize 页面 固定
  • orderBy 固定

在这里插入图片描述

找到csrfKey来源，构造请求即可获取评论接口数据

  • 通过全局搜索当前页面接口并未发现csrfkey

在这里插入图片描述

  • 在进入Mook官网首页通过搜索csrfkey的值可以定位来源(清除cookie重新刷新获取首页接口数据，进入课程详情页刷新对比接口数据即可定位)

最低0.47元/天 解锁文章
Python爬虫爬取中国大学慕课MOOC课程的课程评价信息（讨论信息），采用selenium动态爬取方法
weixin_43330908的博客
10-07 9752
首先慕课网是动态网页，不能简简单单采用以前的静态网站的方法，，，所以，，， 我在一开始的时候选择selenium+phantomjs（百度的），后因selenium版本高，不支持后者了，因此我把selenium换成了2.48.0版本，后来发现selenium+phantomjs这种方法运行特别慢，而且我觉得还是有问题，因此开始选择selenium+WebDriver,此方法需要下载chrome浏览...
爬虫项目实战十四：爬取慕课课程
Linkage interrupt
10-10 5183
爬取慕课学校云课程目标项目准备项目分析代码实现完整代码效果显示 目标 爬取慕课学校云的课程信息。 项目准备 软件：Pycharm 第三方库：requests 网站地址：https://www.icourse163.org/ 项目分析 首先登录上自己的慕课账号，以便分析。 审查元素查看源代码，发现在源代码中无法找到。 在这里给找到了 点开看一下，所有的信息都在这里了。 发现为post请求，所以这里要获取真正的网址的话，要获取一系列的东西。 代码实现 1.使用cookie登录上账号，获取真实的网址
Python爬虫---中国大学MOOC爬取数据（文中有数据集）
a614631315的博客
04-25 7245
Python爬取中国大学Mooc网站的课程课程分类数据、课程数据、评论数据。包括36万条数据集，随便拿。并附带代码与解释。
中国大学MOOC课程信息爬取（可用）
05-12
中国大学MOOC课程信息爬取，包括（课程的参加人数和评分）基本是所有的中国大学MOOC课程信息数据
爬取MOOC课程评论区的评论数据
zczczcc的博客
11-13 7011
对MOOC上某一课程评论区的评论数据爬取出来（例如:爬取《大学生计算机基础》） 1、爬取流程框架 2、爬取数据 ** 用户名-namesList、用户ID-user_ID、评论内容-commentList、 评论时间-commentTime、浏览次数-watch_numList、回复次数-reply_numList、 用户个人主页user_indexList、用户的身份信息 -user_infoList 该课程评论区界面 该评论者个人页面 3、数据可视化 1.将爬取的数据以xlsx保存下来 F
使用Python爬取中国Mooc网讨论区内所有评论
weixin_46410864的博客
07-03 3378
最近受朋友委托,写了一个爬取中国Mooc往讨论区所有评论的程序 ,他需要这些数据写论文. 如下: 他需要爬取这些板块里所有的评论. 俗话说的好 六月七月爬虫热 因为这段时间许多的大学生都毕业了 特此写一篇文章来记录一下 可以看到 评论非常的多, 人工手动去爬取工作量是非常之大, 要我想都不敢想 . 都是几千几百条评论回复的 .现在开始正文. 首先 来分析一下, 很容易发现是 Ajax异步加载 现在开始找接口 发现是这个接口 然后我们来看参数 我们只看有没有跟url相关的参数 发现 c0-.
mooc大数据技术原理与应用,对mooc的使用体验
ynca67269的博客
08-10 1520
--------------------------------2016机器学习之路：一年从无到有掌握机器学习译者：闻菲今天是2016年9月12日AIWORLD2016世界人工智能大会倒计时36天启航期5折抢票倒计时7天【导读】程序员PerHaraldBorgen在Medium刊文，介绍了他在一年的时间里，从入门到掌握机器学习的历程。(二)不同类型学习模式下的视频点播率有鉴于2013年的课程是以MOOC的思路来组织的，其特点为：(1)“资源丰富，尊重学生的个性化学习习惯”、“学生匿名使用学习平台”；...
大数据领域数据可视化在教育领域的应用
最新发布
大数据洞察的博客
05-29 1129
随着信息技术的飞速发展，教育领域产生了大量的数据，如学生的学习成绩、学习行为、课堂表现等。如何从这些海量的数据中提取有价值的信息，为教育决策提供支持，成为了当前教育领域面临的重要问题。数据可视化作为一种有效的数据分析工具，可以将复杂的数据以直观的图形、图表等形式展示出来，帮助教育工作者更好地理解和分析数据。本文的目的在于深入探讨大数据领域数据可视化在教育领域的应用，分析其原理、方法和实际案例，为教育工作者和相关研究人员提供参考。
python 中国大学mooc-我的Python笔记（中国大学MOOC）
weixin_39899630的博客
11-11 230
eval()函数是去一层引号pyinstaller 打包.py文件使用举例：cd 文件路径下pyinstaller -i -F 生成的文件dist中有可执行文件字符新增直接加str=""str+=数组形式str=[]str.append()字符中大写换小写str=inputstr=str.lower()分割是split()替换是str.replace(新的,目标)python...
python+Selenium 爬虫爬取慕课网课程评价，并保存为excel
he99774的博客
12-14 4647
主要功能： 1、爬取慕课网课程评价 2、将课程评价保存到Excel 使用：python3.6 selenium Chrome浏览器 python包：selenium、BeautifulSoup、pandas、 部分代码参考：https://blog.youkuaiyun.com/weixin_43330908/article/details/82959940 from selenium import webdriver from bs4 import BeautifulSoup import pan.
中国大学MOOC爬虫
11-08
能够爬取中国大学生MOOC的各个课程的所有课件并实现自动归类存储下载至本地保存
本爬虫程序旨在从中国大学MOOC爬取相关课程的评论信息.zip
03-01
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
MOOC_dataset_diagnose.zip
05-11
某课网课程中的python实现数据诊断工具，整合了获取数据各项指标的方法，添加了注释，有些未涉及的指标照着代码添加方法即可
python爬取MOOC课程信息
热门推荐
钟健的博客
12-04 7万+
MOOC课程信息爬取 时间 ：2019-10-12 一、任务与目标 网站地址 http://www.imooc.com/course/list/ 2. 采用scrapy爬虫框架 爬取信息包括：课程名称 ，课程图片地址，学习人数，课程的学习人数及最后下载课程的图片 。 信息保存格式：josn 信息全面：爬取所有都课程信息。 二、爬虫相关文件准备与安装 python...
中国大学moocpython笔记_中国大学MOOC —— 学习笔记（二）
weixin_39827728的博客
12-21 313
注：本文仅是个人的学习笔记，内容来源于中国大学mooc《Python网络爬虫与信息提取》课程一 信息标记与提取方法信息标记三种方式：XML　　 <>...>JSON　　有类型键值对：key:valueYAML　　无类型键值对：key:value信息提取的一般方法：<>.find_all()(...)等价于.find_all(...)soup(...)等价于soup....
Python系列课程——中国大学MOOC
astronomy952的博客
01-02 1867
北京理工大学 Python语言程序设计 https://www.icourse163.org/learn/BIT-268001?tid=1001627001零基础学Python语言CAP https://www.icourse163.org/course/BIT-1002058035Python网络爬虫与信息提取 https://www.icourse163.org/course/BIT-1
中国大学mooc上的python-Python程序设计及应用（上）
weixin_39632693的博客
11-11 638
spContent=曾有人说过，没有什么比计算机编程更无处不在的影响着21世纪，而21世纪必将是人工智能大展拳脚的时代，Python作为人工智能首选的编程语言备受欢迎。本课程从零基础出发，用上篇基础加下篇应用的模式为大家呈现出一个精彩的Python世界，请大家跟随我们，走近Python，享受运用计算手段不断创新的过程。—— 课程团队课程概述与其他编程语言相比，Python从云端、客户端，到物联网终...
python-----中国大学mooc的学习
^.^
11-18 615
程序框架： 缩进： 在python中，缩进是语法的一部分，缩进不正确，程序就很有可能出错。 缩进是表示代码间包含关系和层次的唯一手段。 注释： #后内容为注释，#表示单行注释。 三个英文单引号表示注释块。 ''' ''' 保留字： 字符串： 在python中，字符串可以由一串单引号或者双引号来表示。 支持用索引（下标）的方式来访问字符串中的字...
中国Mooc精品评论以及讨论区板块评论爬取
qq_42933887的博客
04-10 426
我们进行分析js代码，这个没什么好分析的，就是新建很多dict和list ，然后进行键值写入，最后append到底部 dwr.engine._remoteHandleCallback('1712718893872', '0', 这个函数的results键里，我这里是s8 ，我们找一个在线js调试网站试试。有经验的就知道了 csrf是防跨域的，不用管，courseid 是课程的id（见下图） pageindex是控制翻页，pagesize是控制评论数量 ，orderby猜测是评论排序类型，现在直接模拟请求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值