python抓取网页过程

准备过程

1.抓取网页的过程

准备好http请求（http request）->提交对应的请求->获得返回的响应（http response）->获得网页源码

2.GET还是POST

3.Headers（可选）

在某些情况下，直接抓取是被禁止的，此时需要提供一个Headers来告诉对方我不是机器人

例如：

1 def getHtml(url):
2     header={'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1','Referer' : '******'}
3     request=urllib2.Request(url,None,header)
4     response=urllib2.urlopen(request)
5     text=response.read()
6     return text

4.Post Data（可选）

某些情况下是需要登录某网站的，此时需要提交帐号密码之类的，则需要使用Post Data

在IE中称为request body，chrome中成为Post Data

5.Cookie（可选）

一般来说，模拟登陆的时候往往会涉及到Cookie

6.其他（代理，最大超时时间timeout）

内容分析

1.对于html源码，调用BeautifulSoup库

2.正则表达式

 

 

本文参考了http://www.crifan.com/summary_about_flow_process_of_fetch_webpage_simulate_login_website_and_some_notice/

可以说是一个简化版，想看的可以去看原文

PS：博主提供了很多计算机方面的资料，读后帮助很大，有兴趣的可以过去看看