这篇博客介绍了如何使用Python爬虫抓取51CTO学院的在线学习课程数据，包括分析目标网页、确定所需信息、选择爬取方式以及将数据存入MongoDB。博客详细讲解了requests-html库的使用，并探讨了异步爬取的实现。
0. 51CTO学院写在前面
从今天开始的几篇文章，我将就国内目前比较主流的一些在线学习平台数据进行抓取，如果时间充足的情况下，会对他们进行一些简单的分析，好了，平台大概有51CTO学院，优快云学院，网易云课堂，慕课网等平台，数据统一抓取到mongodb里面，如果对上述平台造成了困扰，请见谅，毕竟我就抓取那么一小会的时间，不会对服务器有任何影响的。
1. 51CTO学院目标网站
今天的目标网站是 http://edu.51cto.com/courselist/index.html?edunav 数据量大概在1W+，还不错
2. 51CTO学院-分析页面需要的信息
下图标注的框框，就是我们需要的信息了
订阅专栏 解锁全文
扫一扫
535
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
