Python中的html.parser

本文介绍了一个简单的HTML网页解析器类的实现,通过继承HTMLParser并重写相关方法,可以提取网页中的链接及其描述数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

class WebPageParser(html.parser.HTMLParser):
    def __init__(self, strict = False):
        super().__init__(strict)
        self.urls = []
        self.data = []
        self.is_href = False;
    def handle_starttag(self, tag, attrs):
        if tag == 'a':
            self.urls.extend([v for k , v in attrs if k == 'href'])
            self.is_href = True
    def handle_endtag(self, tag):
        print(tag)
        self.is_href = False
    def handle_startendtag(self, tag, attrs):
        print(tag, attrs)
    def handle_data(self, data):
        if self.is_href:
            self.data.append(data)
            
    def reset(self):
        super().reset()
        self.urls = []
        self.data = []
        self.is_href = False
        
if __name__ == '__main__':
    webUrl = r"http://www.baidu.com"
    webPage = urllib.request.urlopen(webUrl)
    webPageParser = WebPageParser()
    webPageParser.feed(str(webPage.read()))
    print(webPageParser.urls)
    print(webPageParser.data)


该类的使用很简单,主要是要继承html.parser.HTMLParser,然后重载相对应的方法。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值