【分享】使用爬虫获取优快云学院里所有免费的视频课

最新推荐文章于 2024-07-02 14:29:39 发布

原创

最新推荐文章于 2024-07-02 14:29:39 发布 · 2.3k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#python #编程语言 #经验分享 #html #其他

博主Samaritan分享了自学一周爬虫后，为查找优快云学院免费视频课程而编写的爬虫代码，旨在帮助有相同需求的初学者。他希望这个小项目能对他人有所帮助，并欢迎Python和爬虫爱好者交流讨论。

大家好，我是Samaritan。
自学了一周爬虫，出于需求想在学院视频课里找找有没有适合学习的，发现找不到只看免费课的过滤器（也可能是我高度近视），于是就当练手，写了这个爬虫，希望能帮到和我一样需求的朋友。

好了，Talk is cheap,show you the code!

#爬取csdn学院中所有标注免费的视频课，并将标题和链接保存到txt里（默认路径为桌面）
import requests
from bs4 import BeautifulSoup as bts
#使用两个爬虫最常用的库

headers = {
   
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
url = 'https://edu.youkuaiyun.com/course/index/p1?is_member=1&is_free=2'
#创建请求头和需要爬取的url

key ='免费' #设置爬取判定的关键字
res = requests.get(url,headers=headers)
print(res.status_code) #检查响应状态
html = bts(res.t