python装饰器和偏函数联合运用碰到的问题

最新推荐文章于 2023-03-13 13:38:16 发布

BACKUP_zw

最新推荐文章于 2023-03-13 13:38:16 发布

阅读量499

点赞数

分类专栏： python

本文链接：https://blog.youkuaiyun.com/u011589125/article/details/48956695

版权

python 专栏收录该内容

5 篇文章

订阅专栏

在写一个爬虫系统，用来爬取学校各个新闻网站的新闻并推送到微信上。

开始，我每个网站写一个爬虫函数，后来发现爬取的过程有许多相同的地方，代码冗余度太大，就想到了用装饰器：

def newsResultProcess(fun):  # 每个新闻爬虫按要求返回5个参数即可,爬取元素的顺序必须是：id、标题、时间
    @functools.wraps(fun)
    def wrapper(*args, **kwargs):
        html, remod, fullurl, imageurl, timestamp = fun(*args, **kwargs)
        html = u''.join(html.split())
        result = re.findall(remod, html)
        result = filter(lambda x: timestamp == x[2], result)
        return map(lambda x: (fullurl % x[0], x[1], imageurl), result)

    return wrapper

每个爬虫函数就可以写成这样：

@newsResultProcess
def deanNews():  #教务新闻
    deannewsurl = 'http://dean.swjtu.edu.cn/servlet/NewsAction?Action=NewsMore'
    deanfullnewsurl = 'http://dean.swjtu.edu.cn/servlet/NewsView?NewsID=%s'
    deannewsimage = siteurl + '/static/img/dean.jpg'
    timestamp = time.strftime(u'%Y-%m-%d')
    response = urllib2.urlopen(deannewsurl)
    html = response.read().decode('utf-8')
    remod = re.compile(ur'<ahref=.*?ID=(.*?)"class.*?title="(.*?)".*?hidden;">(.*?)</div></li>')
    return html, remod, deanfullnewsurl, deannewsimage, timestamp

这样，每个爬虫函数只要写入每个网页不同的内容就可以了，即链接，时间戳格式，正则表达式，网页编码方式。代码基本上没有什么冗余度了

后来为了提高响应速度，又写了一个装饰器，用来进行缓存：

def newsCache(fun):
    @functools.wraps(fun)
    def wrapper(*args, **kwargs):
        ret = cache.get(fun.__name__)
        if ret == None:
            ret = fun(*args, **kwargs)
            cache.set(fun.__name__, ret, newsexpire)
        return ret

    return wrapper

缓存系统根据函数名来区分各个函数返回的内容

再后来，我发现一个网站可能要爬取多个网页的新闻，这些网页只是链接不同，其他都一样，只用装饰器，仍然会有很高的冗余度。于是，我想到了偏函数，将链接作为参数提供给爬虫函数，用偏函数来固定不同爬虫的链接。就像这样：

@newsCache
@newsResultProcess
def yanghuaCollege( url,image):
    fullnewsurl = 'http://www.yanghua.net/WebSite/Head/Show.aspx?ID=%s'
    image = siteurl + image
    timestamp = time.strftime(u'%Y-%m-%d')
    response = urllib2.urlopen(url)
    html = response.read().decode('gbk')
    remod = re.compile(ur'<ahref.*?ID=(\d+).*?>(.*?)\((.*?)\)')
    return html, remod, fullnewsurl, image, timestamp


yanghuaCivil = functools.partial(yanghuaCollege, url='', image='/static/img/civil.jpg')

可是这里问题出现了，这时微信端所有新闻页返回的结果都是一样的，又思考了一会我才发现了问题所在：

首先要说装饰器，添加了装饰器后，原来的那个单纯的用def 定义的函数已经不存在了，函数名字__name__也变成了装饰器的名字,不过这里有个补救措施，使用functools里的wraps装饰器，这样外部装饰器返回的函数名仍然不变，这样再根据函数名识别不同的缓存就没有问题。

然后再说偏函数，偏函数就是相当于把一个函数的参数固定，再用一个引用指向这个固定了参数的函数，并不影响原来的函数。但是运用偏函数后，返回的这个函数对象，并不是只在参数上存在区别，实际的情况可以自己打印dir测试。在这里，偏函数返回的函数对象没有了__name__属性（实际上，少了很多属性）。这里我还要仔细研究一下偏函数的工作方式。

最后，当两者放在一起的时候，在这里问题就更严重了，由于装饰器作用之后，函数的一切数性都已确定，所以，缓存装饰器里的函数名，还是内部装饰器返回的，即原函数的名字。于是再加上偏函数的时候，所有返回的偏函数内部用来区分的函数名都是一样的，而且这里不会因为偏函数没有__name__属性发生AttributeError异常，因为缓存里的函数名字在装饰器发生作用的时候是存在的。

最后，我想到的解决办法是，既然函数名已经无法在定义偏函数的时候确定，就只能动态的添加__name__属性了

def newsCache(fun):
    @functools.wraps(fun)
    def wrapper(*args, **kwargs):
        if 'name' in kwargs:
            fun.__name__ = kwargs['name']  # 由于先进行装饰再使用偏函数，函数名字只能这样动态确定
        ret = cache.get(fun.__name__)
        if ret == None:
            ret = fun(*args, **kwargs)
            cache.set(fun.__name__, ret, newsexpire)
        return ret

    return wrapper


def newsResultProcess(fun):  # 每个新闻爬虫按要求返回5个参数即可,爬取元素的顺序必须是：id、标题、时间
    @functools.wraps(fun)
    def wrapper(*args, **kwargs):
        html, remod, fullurl, imageurl, timestamp = fun(*args, **kwargs)
        html = u''.join(html.split())
        result = re.findall(remod, html)
        result = filter(lambda x: timestamp == x[2], result)
        return map(lambda x: (fullurl % x[0], x[1], imageurl), result)

    return wrapper
<pre name="code" class="python">@newsCache
@newsResultProcess
def yanghuaCollege(urlNo, image, name):
    url = 'http://www.yanghua.net/WebSite/Head/AcademyBulletin.aspx?CollegeNo=' + urlNo
    fullnewsurl = 'http://www.yanghua.net/WebSite/Head/Show.aspx?ID=%s'
    image = siteurl + image
    timestamp = time.strftime(u'%Y-%m-%d')
    response = urllib2.urlopen(url)
    html = response.read().decode('gbk')
    remod = re.compile(ur'<ahref.*?ID=(\d+).*?>(.*?)\((.*?)\)')
    return html, remod, fullnewsurl, image, timestamp


yanghuaCivil = functools.partial(yanghuaCollege, urlNo='001', image='/static/img/civil.jpg', name='yanghyaCivil')
yanghuaSme = functools.partial(yanghuaCollege, urlNo='002', image='/static/img/sme.jpg', name='yanghyaSme')

到这里，我的爬虫系统终于正常工作了！

python初学，写的不好还请指教！