python爬博文

最新推荐文章于 2022-01-14 09:54:49 发布

原创最新推荐文章于 2022-01-14 09:54:49 发布 · 362 阅读

0 ·

CC 4.0 BY-SA版权

python 同时被 2 个专栏收录

3 篇文章

订阅专栏

小工具

2 篇文章

订阅专栏

本文介绍了一个简单的Python爬虫实例，用于抓取优快云博客文章的内容，并通过正则表达式清理HTML标签，最终将纯文本保存到本地文件中。此教程适合初学者学习Python爬虫的基本操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
import urllib2
import re
import cookielib
import sys



class 优快云:
    def __init__(self):
        self.url = 'http://blog.youkuaiyun.com/aricover/article/details/78684894/'
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = { 'User-Agent' : self.user_agent }
        self.filename = 'csdncookie.txt'
        self.patterns = {
            '<p>':'',
            '</p>':'',
            '<pre name="code".*?>':'',
            '</pre>':'\n',
            '<br>':'',
            '</br>':'',
            '<div.*?>':'',
            '</div>':'',
            r'<':'<',
            r'>':'>',
            '+':'+',
            '"':'\"'
        }

    def getPage(self):
        try:
            req = urllib2.Request(self.url,headers = self.headers)
            cookie = cookielib.MozillaCookieJar(self.filename)
            opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
            response = opener.open(req)
            cookie.save(ignore_discard=True,ignore_expires=True)
            content = response.read()
            return content
        except urllib2.URLError,e:
            if hasattr(e,'reason'):
                print '错误发生的原因:%s' %(e.reason)

    def replaceSB(self,content):
        for k,v in self.patterns.items():
            pattern = re.compile(k,re.S)
            content = re.sub(pattern,v,content)
        return content


    def write2File(self,content):
        file = open('blog.txt','w')
        file.write(content)
        file.close();


    def getContent(self):
        content = self.getPage()
        pattern = re.compile(r'<div id="article_content".*?</div>',re.S)
        items = re.findall(pattern,content)
        for item in items:
            zz = self.replaceSB(item)
            self.write2File(zz)
            print zz

csdn = 优快云()
csdn.getContent()

练练手，熟悉下python和爬虫，这里以抓取自己的博文为例，只是爬去特定链接的文章，不是大范围爬取

存在部分字符被csdn的编辑器给替换了，源码链接http://download.youkuaiyun.com/download/aricover/10148984#