爬虫奇遇记——等待访问处理办法

有时候一些网站访问时间超级慢，爬虫一直在等待访问，没有访问就不执行下一步代码，这时我们可以通过超时设置来控制，当爬虫超过一定时间还没有访问到内容时，退出访问，执行下一步代码。参数是timeout。

#coding:utf-8
import urllib2
try:
    url = "http://www.baidu.com"
    f = urllib2.urlopen(url, timeout=0) #timeout设置超时的时间
    result = f.read()
    print result
except Exception,e:
    print 'a',str(e)

在requests包中

requests.get(url, timeout)