python网页自动摘要和关键词提取

关注

原创最新推荐文章于 2026-05-24 07:03:52 发布 3.1w 阅读 AI 写同款· GEO 优化 ›

如何利用Python实现文本的自动摘要，代码全程示例根据前面的预处理，我们可以得到一个文本列表，其中每个元素都是一个文本字符串。接下来，我们需要选择一个合适的摘要生成算法来生成摘要。TF-IDF算法TF-IDF算法是一种常用的文本摘要算法，它基于文本频率和权重来计算摘要。其中，文本频率是指某个词在文本中出现的次数，文本权重是指一个词对整篇文本的重要性。下面是一个使用TF-IDF算法生成摘要的示例代码。将文本传递给TF-IDF算法，得到每个词在文本中的权重和频率。然后，选择权重最高的前几个词作为摘要。阅读详情

最近准备用django写一个CMS系统，把单位的网页迁移过去，在网上找了一个博客系统，但是不太满意，摘要和tags都需要自己输入，目标就是把他们实现自动化。

之前搞爬虫接触过类似的库，readability,goose等都可以实现文本摘要，jieba具有提取tags的功能。

goose主要作用是根据网址提取文本和标题。主要用的库有urllib2，beautifulsoup；有些网页用goose提取不到正文，只能获得标题，因此用在内容也上比较好，目录页、主页效果不太好。

用法如下：

from goose import Goose
from goose.text import StopWordsChinese
g = Goose({'browser_user_agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0) ','stopwords_class': StopWordsChinese})
article = g.extract(url=url)
url = 'http://blog.youkuaiyun.com/u011617072/article/details/12624855'
print article.titleprint article.cleaned_text[:]

goose其实不怎么满足需求，简单点的还有html2text，或者用htmlparse，甚至简单粗暴的正则表达式。

# -*- coding: utf-8 -*-
from HTMLParser import HTMLParser

class MLStripper(HTMLParser):
    def __init__(self):
        self.reset()
        self.fed = []
    def handle_data(self, d):
        self.fed.append(d)
    def get_data(self):
        return ''.join(self.fed)

def strip_tags(html):
    s = MLStripper()
    s.feed(html)
    return s.get_data()

提取关键词用jieba比较简单，默认提供TF/IDF权重最高的20个词。

import jieba
import jieba.analyse
def extract_tags(content,topk):
    content = content.strip()
    tags=jieba.analyse.extract_tags(content, topK=topk)
    return ','.join(tags)