How to detect the encoding of a text file with Deno?

最新推荐文章于 2024-05-01 21:26:10 发布

Codings

最新推荐文章于 2024-05-01 21:26:10 发布

阅读量243

点赞数

CC 4.0 BY-SA版权

分类专栏： swinfo 文章标签： typescript

本文链接：https://blog.youkuaiyun.com/codings/article/details/128322840

swinfo 专栏收录该内容

10 篇文章

订阅专栏

本文介绍如何使用Python和Deno检测文本文件的编码格式。通过chardet库，Python能够检测多种常见编码如UTF-8、ASCII等。Deno则通过char-encoding-detector模块实现类似功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

How to detect the encoding of a text file with Python?

Python 中有一个有用的包 - chardet，它有助于检测文件中使用的编码。实际上，没有程序可以 100% 确信使用了哪种编码 - 这就是为什么 chardet 以最高概率对文件进行编码的原因。Chardet 可以检测以下编码：

ASCII、UTF-8、UTF-16（2 种变体）、UTF-32（4 种变体）
Big5， GB2312， EUC-TW， HZ-GB-2312， ISO-2022-CN （繁体中文和简体中文）
EUC-JP， SHIFT_JIS， CP932， ISO-2022-JP （日语）
EUC-KR， ISO-2022-KR（韩语）
KOI8-R，麦西里尔文， IBM855， IBM866， ISO-8859-5， windows-1251 （西里尔文）
ISO-8859-2，窗口-1250 （匈牙利语）
ISO-8859-5，窗口-1251 （保加利亚语）
窗口-1252 （英语）
ISO-8859-7，视窗-1253 （希腊文）
ISO-8859-8， windows-1255 （视觉和逻辑希伯来语）
TIS-620 （泰语）
您可以使用 pip 命令安装 chardet：

pip install chardet

之后，您可以在命令行中使用 chardet：

% chardetect somefile someotherfile
somefile: windows-1252 with confidence 0.5
someotherfile: ascii with confidence 1.0

或者在 Python 中：

import chardet    
rawdata = open(file, "r").read()
result = chardet.detect(rawdata)
charenc = result['encoding']

How to detect the encoding of a text file with Deno?

import { detectEncoding } from "https://dev.jspm.io/char-encoding-detector@0.0.9";
const file = "ex2022.txt";
const text = await Deno.readFile(file);
const encoding = detectEncoding(text);
const decoder = new TextDecoder(encoding);
const correct = decoder.decode(text);
console.log(correct);