Python urllib urllib2事例

1. #coding:utf-8
   
2. #!/usr/bin/python
   
3. # Filename: web.py
   
4. 
   
5. import urllib,urllib2
   
6. #网页地址
   
7. url="http://news.163.com/13/0228/19/8OQUTIRP0001124J.html"
   
8. #打开链接，返回一个可读的文件对象,可用文件的方法来读
   
9. wp=urllib.urlopen(url)
   
10. #获取页面内容
    
11. content=wp.read()
    
12. print "字符串长度：",len(content)
    
13. #找开一个文本文件
    
14. fp=open("163.txt","w")
    
15. #写入数据
    
16. fp.write(content)
    
17. fp.close();
    
18. 
    
19. #两种方法
    
20. #fqq=urllib2.urlopen(url, data, timeout)
    
21. #urllib2.urlopen(qqurl,data)
    
22. qqurl="http://news.qq.com/a/20130228/001428.htm"
    
23. req=urllib2.Request(qqurl)#request方法可以，可以在这里添加要提交的数据
    
24. fqq=urllib2.urlopen(req)
    
25. the_page=fqq.read()
    
26. print "网页的字符串长度：",len(the_page)
    
27. fp=open("qq.txt","w")
    
28. fp.close
    

我们可以看到登陆人人的过程中浏览器向人人的服务器发送POST请求数据，有四项，其中两项是你的账号和密码。
下面我们就利用代码模拟发出同样的请求就可以啦。
post_data = {
    'email':'xxxxx',
    'password':'xxxxx',
    'origURL':'http://www.renren.com/Home.do',
    'domain':'renren.com'
}
req = urllib2.Request('http://www.renren.com/PLogin.do', urllib.urlencode(post_data))
html_src = openner.open(req).read()
parser = BeautifulSoup(html_src)

1. 
   
2. 字符串长度： 134602
   
3. 网页的字符串长度： 170233