爬虫简介

 

爬虫是什么

爬虫价值

简单爬虫架构

简单爬虫架构的动态运行流程

URL管理器

URL管理器的实现方式

网页下载器简介

     

urllib2网页下载器下载网页三种方式

方式一

      

方式二

      

方式三

 

 urlib2实例代码演示(适用于python2.x版本)

#coding:gbk
import urllib2
import cookielib


url = "http://www.baidu.com"

print "第一种方法"

response1 = urllib2.urlopen(url)

print response1.getcode()  

print len(response1.read())

print "第二种方法" 
request = urllib2.Request(url)
request.add_header("user-agent", "Mozilla/5.0")
response2 = urllib2.urlopen(request)
print response2.getcode()
print len(response2.read())

print "第三种方法"
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor)
urllib2.install_opener(opener)

response3 = urllib2.urlopen(url)
print response3.getcode()
print cj
print len(response3.read())

网页解析器简介  (BeautifulSoup采用Dom树方式进行解析)