python 爬取网页正文

我想我可以更强

于 2013-09-20 20:32:18 发布

阅读量2.3k

点赞数 1

本文链接：https://blog.youkuaiyun.com/chengzheng_hit/article/details/11854219

版权

这是一个Python函数库，用于从HTML文档中提取正文内容，过滤广告和非正文区域。通过‘正文标签密度法’，计算每个标签的正文长度占比，找到密度最高的部分作为正文。适用于网站抓取和搜索引擎优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/env python
#coding:utf-8
import htmllib,urllib2
import formatter,StringIO
import urllib

class TrackingParser(htmllib.HTMLParser):
    """Try to keep accurate pointer of parsing location."""
    def __init__(self, writer, *args):
        htmllib.HTMLParser.__init__(self, *args)
        self.writer = writer
    def parse_starttag(self, i):
        index = htmllib.HTMLParser.parse_starttag(self, i)
        self.writer.index = index
        print 'vvvvvvvvvvvvvvvvvvvvvvv\n'
        print index
        return index
    def parse_endtag(self, i):
        print 'vvvvvvvvvvvvvvvvvvvvvvv\n'
        self.writer.index = i
        return htmllib.HTMLParser.parse_endtag(self, i)
class Paragraph:
    def __init__(self):
        self.text = ''
        self.bytes = 0
        self.density = 0.0

class LineWriter(formatter.AbstractWriter):
    def __init__(self, *args):
        self

最低0.47元/天解锁文章