Python 爬虫思路梳理

python模拟登陆教务系统爬取个人信息及成绩

/* 梳理思路 */

• 通过CDT来了解登录教务系统的过程中，所有的GET/POST等请求内容，以及资源指向
• GET请求了解其详细query参数，POST请求了解其formdata值
• 构建请求，发送数据，处理返回数据

---

/* 关键代码 */

• 建立请求加上cookie方便后面处理
• self.cookies=cookielib.CookieJar();
self.opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookies)); request = urllib2.Request(self.loginUrl, self.postdata);
result = self.opener.open(request);
html = result.read();

---

/* 问题处理 */

• 1. 验证码，找到验证码连接直接请求将返回的gif保存

• pic = self.opener.open(self.checkCodeUrl).read();
self.checkCode = raw_input("Wait a Moment...")
fp = open("/Users/lister/Desktop/lg.gif","wb");
fp.write(pic