python爬取新浪博客_Python爬取韩寒全部新浪博客

接上一篇，我们根据第一页的链接爬取了第一页的博客，我们不难发现，每一页的链接就只有一处不同(页码序号)，我们只要在上一篇的代码外面加一个循环，这样就可以爬取所有博客分页的博文，也就是所有博文了。

# -*- coding : -utf-8 -*-

import urllib

import time

url = [' ']*350

page = 1

link = 1

while page <=7://目前共有7页，3

con = urllib.urlopen('http://blog.sina.com.cn/s/articlelist_1191258123_0_'+str(page)+'.html').read()

i = 0

title = con.find(r'

while title != -1 and href != -1 and html != -1 and i<350:

url[i] = con[href + 6:html + 5]

content = urllib.urlopen(url[i]).read()

open(r'allboke/'+url[i][-26:],'w+').write(content)

print 'link',link,url[i]

title = con.find(r'