爬糗事百科的段子（爬多页）

最新推荐文章于 2019-01-30 12:13:32 发布

原创最新推荐文章于 2019-01-30 12:13:32 发布 · 367 阅读

1 ·

CC 4.0 BY-SA版权

爬虫专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一种使用Python爬取糗事百科网站内容的方法，包括设置headers、使用正则表达式抓取数据及实现翻页功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬糗事百科

网址：http://www.qiushibaike.com/hot/

首先设置headers:

    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }

用headers获取网页源代码：

        request=urllib2.Request(url,headers = headers)
        response=urllib2.urlopen(request)
        content =response.read().decode('utf-8')

编写正则获取想要的内容：

 pattern = re.compile('.*?<h2>\n(.*?)\n</h2>.*?<span>\n\n\n(.*?)\n</span>.*?<i class="number">(.*?)</i>(.*?).*?number">(.*?)</i>(.*?)</a>',re.S)
 items=re.findall(pattern,content)

如何实现翻页？

http有两种请求方式 get和post

每一页的网址都不同

第一页:https://www.qiushibaike.com/hot/

第二页:https://www.qiushibaike.com/hot/page/2

第三页:https://www.qiushibaike.com/hot/page/3

。。。

所以想要爬多页加一个for循环即可：

for page in range(1,5):

    url = 'http://www.qiushibaike.com/hot/page/' + str(page)

整体代码：

__author__ = 'kkk'
#--*--coding:utf-8--*--

import urllib2
import re
for page in range(1,5):

    url = 'http://www.qiushibaike.com/hot/page/' + str(page)
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }
    try:
        request=urllib2.Request(url,headers = headers)
        response=urllib2.urlopen(request)
        content =response.read().decode('utf-8')
        pattern = re.compile('.*?<h2>\n(.*?)\n</h2>.*?<span>\n\n\n(.*?)\n</span>.*?<i class="number">(.*?)</i>(.*?).*?number">(.*?)</i>(.*?)</a>',re.S)
        items=re.findall(pattern,content)
        for item in items:
            haveImg = re.search("img",item[3])
            if not haveImg:
                s=re.sub('<br/>','',item[1])
                print item[0],s,item[2],item[4]
                list=(item[0]+'  '+s+item[2]+'  '+item[4])
                f1 = open('01.txt','a')
                f1.write(list.encode('utf-8'))
                f1.close()
    except urllib2.URLError,e:
        if hasattr(e,"code"):
            print e.code
        if hasattr(e,"reason"):
            print e.reason