python 提取网页 charset 的方法

最新推荐文章于 2024-03-15 14:44:23 发布

原创最新推荐文章于 2024-03-15 14:44:23 发布 · 3.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #html

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种通过正则表达式从HTML源代码中高效提取字符集声明的方法。该方法经过大量网页测试，准确率达到99.99%。适用于需要解析不同编码网页的应用场景。

经过十几万网页采集测试，有效率99.99%

def pick_charset(html):
    """
    从文本中提取 meta charset
    :param html:
    :return:
    """
    charset = None
    m = re.compile('<meta .*(http-equiv="?Content-Type"?.*)?charset="?([a-zA-Z0-9_-]+)"?', re.I).search(html)
    if m and m.lastindex == 2:
        charset = m.group(2).lower()
    return charset