学习爬虫后写了篇爬韩寒新浪博客文章的代码

关注

原创最新推荐文章于 2026-03-29 10:29:51 发布 1k 阅读 AI 写同款· GEO 优化 ›

[python 爬虫]第一个Python爬虫，爬取某个新浪博客所有文章并保存为doc文档最近开始学习Python的爬虫，本来想着从基本的各种语法开始学习的但是在逛知乎的过程中发现了一个帖子是就是关于如何入门Python爬虫，里面有一个回答，https://www.zhihu.com/question/20899988/answer/24923424 这里面说的就是““入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样... 阅读详情

import urllib
import time
url   = ['']*50
i=0
page  = urllib.urlopen('http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html').read()
title = page.find(r'<a title=')
href  = page.find(r'href=',title)
html  = page.find(r'.html',href)

while title!=-1 and href!=-1 and html!=-1 and i < 50:
	url[i]= page[href +6:html+5]
	print url[i]
	title = page.find(r'<a title=',html)
	href  = page.find(r'href=',title)
	html  = page.find(r'.html',href)
	i+=1
else:
	print('Find end!')
j=0
while j<50:
	cotent = urllib.urlopen(url[j]).read()
	open(r'hanhan/'+url[j][-26:],'w+').write(cotent)
	time.sleep(15)
	j=j+1

else:
	print('Download all!')

收录于