python编的糗百小爬虫

原创于 2013-08-11 05:40:11 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Python #爬虫 #正则

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何使用正则表达式实现基本功能，从糗事百科网站抓取热门页面的第一页内容，并进一步展示其应用潜力。

主要是学习一下正则，实现了最基本的功能，抓取热门的第一页，在此基础上还可以再发挥发挥。

import urllib.request
import re

data = urllib.request.urlopen('http://www.qiushibaike.com/hot/page/1').read()
prog = re.compile('<div class="content" title="(.*?)">(.*?)</div>',re.S)
prog2 = re.compile('<div.*?class="content".*?title="(.*?)">\\n(.*?)</div',re.S)
result = re.findall(prog2,data.decode('utf-8'))
for v in result:  
    print (v[0],v[1])