利用chardet检测网页编码

最新推荐文章于 2021-08-10 12:02:47 发布

helloxielan

最新推荐文章于 2021-08-10 12:02:47 发布

阅读量160

点赞数

CC 4.0 BY-SA版权

文章标签： python 前端 ViewUI

原文链接：http://www.cnblogs.com/roucheng/p/chardet.html

本文介绍如何在Windows环境下利用Python的Chardet库来检测网页的编码方式。通过下载并安装Chardet库，编写了一个简单的Python脚本，该脚本能自动获取指定网址的内容并检测其编码类型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境：Win7_x64 + python3.4.3

需要先下载chardet并进行安装，下载地址：https://pypi.python.org/packages/source/c/chardet/chardet-2.3.0.tar.gz

安装：进入解压后的目录，在命令窗口执行: Python setup.py install

写个测试的python脚本吧(DetectURLCoding.py)：

#coding:utf-8  
'''''python 3.x'''  
  
import sys  
import urllib.request  
import chardet  
  
# 将data写入文件fname  
def writeFile(fname, data):  
    f = open(fname, "wb")  
    if f:  
        f.write(data)  
        f.close()  
  
def blog_detect(blogurl):  
    '''''检测编码方式'''  
    try:  
        fp = urllib.request.urlopen(blogurl)  
    except Exception as e:  
        print(e)  
        print('download exception-[%s]' %blogurl)  
        return 0  
    blog = fp.read()    # python3.x read the html as html code bytearray  
    fp.close()  
    #writeFile("t.html", blog)  
      
    # get encoding string  
    codedetect = chardet.detect(blog)['encoding']  
    print('%s <- %s' %(blogurl, codedetect))  
    return 1  
  
if __name__=='__main__':  
    if len(sys.argv) == 1:  
        print('''''usage: 
            python DetectURLCoding.py http://xxx.com''')  
    else:  
        v = blog_detect(sys.argv[1])  
        print(v)  # 何问起 hovertree.com

运行结果：

D:\profile\Desktop>PYTHON de.py http://hovertree.com/  
http://hovertree.com/ <- utf-8  
1  
  
D:\profile\Desktop>PYTHON de.py http://photo.cankaoxiaoxi.com/roll10/2015/0318/709734.shtml  
http://photo.cankaoxiaoxi.com/roll10/2015/0318/709734.shtml <- utf-8  
1

web前端：http://www.cnblogs.com/roucheng/p/texiao.html

转载于:https://www.cnblogs.com/roucheng/p/chardet.html