python爬虫之HTMLParser

最新推荐文章于 2025-07-19 07:00:00 发布

原创最新推荐文章于 2025-07-19 07:00:00 发布 · 438 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍了一个自定义HTML解析器的实现过程，通过继承HTMLParser基类并覆盖其方法来处理HTML文档中的各种元素，包括标签、注释等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HTMLParser

需要手动下载markupbase.py放到libs里
每读到一个标签处理一下

from HTMLParser import HTMLParser
# markupbase

class MyParser(HTMLParser):
    def handle_decl(self, decl):
        HTMLParser.handle_decl(self, decl)
        print('decl %s' % decl)

    def handle_starttag(self, tag, attrs):
        HTMLParser.handle_starttag(self, tag, attrs)
        print('<' + tag + '>')

    def handle_endtag(self, tag):
        HTMLParser.handle_endtag(self, tag)
        print('</' + tag + '>')

    def handle_data(self, data):
        HTMLParser.handle_data(self, data)
        print('data %s' % data)

    #<br/>
    def handle_startendtag(self, tag, attrs):
        HTMLParser.handle_startendtag(self, tag, attrs)

    def handle_comment(self, data):
        HTMLParser.handle_comment(self, data)
        print('data %s' % data)

    def close(self):
        HTMLParser.close(self)
        print('Close')

demo = MyParser()
demo.feed(open('test.html').read())
demo.close()