python 爬虫学习笔记（1）

最新推荐文章于 2024-10-22 14:53:06 发布

原创最新推荐文章于 2024-10-22 14:53:06 发布 · 369 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一个简单的糗事百科段子爬虫实现过程，通过Python的urllib2库获取网页内容，并使用正则表达式解析出作者、段子内容及点赞数等关键信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目标：爬取糗事百科的段子

代码：

# -*- coding: utf-8 -*-
__author__ = 'beauty'

import sys
type = sys.getfilesystemencoding() #为了防止出现乱码

import urllib2
import re

page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
    request = urllib2.Request(url,headers = headers)
    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    # print content.encode(type)
    pattern = re.compile('<div class="author clearfix">.*?href.*?<img src.*?title=.*?<h2>(.*?)</h2>.*?<div class="content">(.*?)</div>.*?<i class="number">(.*?)</i>',re.S)
    items = re.findall(pattern,content)
    # print items
    for item in items:
        print item[0].encode(type),item[1].encode(type),item[2].encode(type)
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason