python爬虫下载极客学院视频

这两天在极客学院看视频，感觉在网上看好不方便，所以写了个爬虫来下载视频。

具体思路是：

1.先登录极客学院

2.获取指定页面中的课程网址

3.获取每个课程中的视频的地址

4.下载视频

首先要访问这个网址：

http://passport.jikexueyuan.com/sso/login

获取网页中的需要提交的参数

然后post用户名、密码跟刚刚得到的参数导这个网址：

http://passport.jikexueyuan.com/submit/login?is_ajax=1

实现登录

细心的人会发现，在网页登录时其实是有验证码的，其实之前也有写获取验证码，手动输入，后来因为验证码看不清楚，所以随便输入，发现也能登录成功，所以，其实验证码参数为空也是可以登录的。

最好是添加一个useragent

request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36')

post之后得到的是json数据，可以转为json，获取里面的数据判断是否登录成功

我这里就不这么麻烦了，直接用正则表达式匹配里面是否含有“登录成功”来判断

之后就是获取课程网址，我用了多线程：