python学习记——爬糗事百科

关注

原创最新推荐文章于 2026-06-22 12:20:04 发布 827 阅读 AI 写同款· GEO 优化 ›

Python爬虫基础教程（33）Python Scrapy爬虫框架实战：糗事百科之目标分析：Scrapy爬虫实战：哈哈哈哈哈，我用Python爬了糗事百科的万条段子！本文手把手教你使用Scrapy框架爬取糗事百科段子。通过目标分析、项目创建、数据解析到存储，详细展示实战流程，并分享反爬应对技巧。跟着教程，你将轻松掌握Scrapy爬虫，实现自动化采集段子数据，再也不用手动复制粘贴！本文约2000字，预计阅读时间10分钟。阅读详情

学习python 跟着教程写了一个爬糗事百科的段子程序（去掉了包括图片的段子）
代码中item[2]为空表示段子中不带图片

运行结果如下：

这里写图片描述

代码如下：

# -*- coding:utf-8 -*-
import urllib
import urllib2
import re

page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.107 Safari/537.36'
headers = { 'User-Agent' : user_agent }
try:
    request = urllib2.Request(url,headers = headers)
    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    pattern = re.compile('<div class="author clearfix">.*?<a.*?>.*?<img.*?>.*?</a>.*?<a.*?>.*?<h2>(.*?)</h2>.*?</a>.*?</div>.*?<div class="content">(.*?)<!--.*?-->.*?</div>(.*?)<div class="stats">',re.S)
    items = re.findall(pattern,content)
    for item in items:
        haveImg = re.search("img",item[2])
        if not haveImg:
            print item[0],item[1]
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason